EMPREGO ENGENHEIRO DADOS HADOOP

Experiência comprovada como engenheiro de dados ou em funções similares... documentar sistemas de dados e processos de engenharia de dados...

O engenheiro de dados é responsável por garantir que os dados sejam coletados, processados e armazenados de maneira eficiente e segura, permitindo a tomada de decisões...

Coleta de dados; reunir dados de diversas fontes, como banco de dados, apls logs e arquivos; transformação de dados; limpar, transformar e enriquecer os dados para...

Projetar e desenvolver pipelines de dados complexos utilizando databricks, integrando fontes de dados internas e externas... colaborar com equipes de ciência de...

Conhecimento de hive para gerenciamento de dados em ambientes hadoop... gestão de grandes volumes de dados com hbase... criação de jobs pyspark para processamento...

Experiência em consumo de dados por apis... atuação com pyspark para processamento de dados... conhecimento em sql para consultas e manipulação de dados...

Principais responsabilidades:   desenvolver e manter pipelines de dados escaláveis usando hadoop e pyspark... documentar processos e procedimentos de engenharia...

Visão geral dos processos de coleta, armazenamento e preparação de dados: exemplo prático de coleta, preparação e armazenamento de dados... mineração de dados: pré-processamento...

Experiência com banco de dados oracle, sql... modelagem de dados (modelagem para bi/datamart - start schema/snowflake, modelagem de dados para nosql)...

Isso inclui atualizar designs de bancos de dados lógicos e físicos com alterações, gerar, configurar e otimizar o desempenho dos bancos de dados e fornecer informações...

Desenvolver modelos de dados que descrevem como os dados são organizados e relacionados entre si... nesses processos, você lidará com dados de consumidores com informações...

Monitoramente da qualidade dos dados... experiencia como engenheiro de dados - desejável atuação no setor financeiro... catalogação de dados e aplicação de controles...

- 3+ trabalhando em plataformas de dados ou equipes de engenharia de dados... desejável - experiência com banco de dados graph... - sólida experiência trabalhando...

Desenvolver modelos de dados que descrevem como os dados são organizados e relacionados entre si... criar e manter pipelines de processamento de dados que extraem...

- integrar power bi com sistemas de banco de dados e outras fontes de dados... - desenvolver e manter pipelines de dados e dashboards analíticos...