Engenheiro de Dados II – Botafogo RJ

Engenheiro de Dados II – Eneva Energia – Botafogo

Principais responsabilidades:

Construção e Manutenção de Infraestruturas de Dados: Construir, testar e manter arquiteturas de dados, como bancos de dados e sistemas de processamento de grandes volumes de dados.
Garantir a Linhagem e Qualidade dos Dados: No contexto da governança de dados, deve garantir que os dados sejam precisos, completos, oportunos e seguros. Isso envolve a implementação de práticas e políticas de qualidade de dados.- Manter o Glossários de Negócios: Criar e manter glossários de negócios para garantir uma terminologia consistente.
Classificação de dados: Classificar os dados com base na sensibilidade para proteger dados confidenciais.
Desenvolvimento de Pipelines de Dados: Desenvolver e manter pipelines de dados eficientes e escaláveis para transformar e mover dados entre sistemas.
Colaboração com Outras Equipes: Colaborar com analistas e cientistas de dados, Platform Ops, FinOps, Operações e outras partes interessadas para garantir que os dados atendam às necessidades da organização.
Implementação de Soluções de Segurança de Dados: Implementar soluções para proteger os dados e garantir a conformidade com as regulamentações de privacidade e proteção de dados.
Inovação Contínua: O engenheiro de dados deve estar sempre buscando novas tecnologias e técnicas para melhorar a eficiência e a eficácia das infraestruturas e pipelines de dados.
Documentação Técnica: Implementar práticas de documentação baseadas em Markdown DaC (Document as Code) para manter as bases de conhecimento atualizadas, versionadas e publicadas juntamente com o código-fonte.
Infrastructure as Code: Utilizar práticas e ferramentas IaC (Infrastructure as Code) para automatizar o provisionamento e a gestão da infraestrutura.
Automatização de Processos: Automatizar processos de provisionamento e segurança para reduzir erros humanos e aumentar a eficiência.
Gerenciamento do Ciclo de Vida: Gerenciar o ciclo de vida dos dados para arquivamento e descarte.
Gerenciamento e Controle de Acesso: Controlar o acesso a dados confidenciais por meio de funções e permissões.

Para se candidatar, você precisa de experiência com:

ELT (Extract, Load, Transform): Compreensão da arquitetura ELT para processamento de dados.
Separação de Armazenamento e Computação: Aderir ao princípio de separar armazenamento e computação para flexibilidade e otimização de custos.- Princípio do Menor Privilégio: Seguir o princípio do menor privilégio para aumentar a segurança.
Separação de Projetos: Separar projetos com base em sua finalidade para melhorar o controle e o gerenciamento.
Gerenciamento de Recursos: Implementar práticas de gerenciamento de recursos para otimizar o uso e os custos.
Orquestração de Pipeline de Dados: Utilizar o Cloud Composer para orquestrar e automatizar pipelines de dados.
Gerenciamento de Metadados: Gerenciar metadados usando o Dataplex para melhorar a descoberta e a compreensão dos dados.
Mascaramento de dados: Usar técnicas de mascaramento de dados para proteger dados confidenciais.
Governança de dados: Conhecimento dos princípios e práticas de governança de dados.
Arquitetura de dados: Compreensão dos diferentes padrões e camadas de arquitetura de dados, entendo sua aplicabilidade e importância para fins analíticos.
Segurança de dados: Conhecimento das práticas recomendadas de segurança de dados, incluindo criptografia e gerenciamento de identidade e acesso (IAM).
Operações de dados: Compreensão das práticas recomendadas de operações de dados, incluindo monitoramento e solução de problemas.
IA Generativa: Compreensão de como a IA generativa pode ser usada para gerar novos dados e insights.

Pré-requisitos:

Ensino Superior Completo;
Disponibilidade para atuar 100% presencial em Botafogo-RJ;