Stefanini
Engenheiro de Dados Sênior
Sobre a posição
Procuramos um(a) Engenheiro(a) de Dados Sênior com experiência robusta em soluções de dados na nuvem AWS para liderar o desenvolvimento e a implementação de arquiteturas modernas e escaláveis. Você será peça-chave na construção de pipelines de dados eficientes e resilientes, na implementação de data lakes e data warehouses, além de atuar no desenvolvimento de soluções analíticas de alto impacto com o ecossistema AWS, Databricks e Trino.
Principais responsabilidades
Projetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks;
Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas para alta performance e escalabilidade;
Desenvolver e otimizar consultas complexas com Amazon Athena, Trino e Databricks;
Planejar e executar processos de ETL/ELT, integrando múltiplas fontes de dados;
Otimizar performance de queries e processamento massivo de dados;
Promover code reviews e fornecer mentoria técnica para a equipe;
Traduzir necessidades de negócio em soluções técnicas robustas e escaláveis;
Implantar rotinas de monitoramento e observabilidade nos pipelines de dados;
Agendar e orquestrar rotinas ETL com Apache Airflow.
Requisitos Técnicos
Essenciais
Domínio avançado de Python e SQL;
Sólida experiência com serviços AWS, principalmente:
Amazon S3 para armazenamento de dados
Amazon Athena para consultas serverless
Vivência em Trino (PrestoSQL) para processamento distribuído de consultas;
Proficiência emDatabricks e Delta Lake para solução de dados analíticos;
Experiência comPySpark para processamento em larga escala;
Forte conhecimento em modelagem de dados e arquitetura de data warehousing;
Prática em particionamento de dados e otimização de performance em data lakes;
Domínio de versionamento Git e metodologias ágeis via Azure DevOps;
Familiaridade com formatos como Parquet, Delta, Iceberg.
Diferenciais
Certificações AWS (Data Analytics, Solutions Architect, Data Engineer);
Experiência em orquestração com Apache Airflow;
Projetos com streaming de dados (Kinesis, Kafka);
Conhecimento dedbt (Data Build Tool) para transformações de dados;
Experiência em qualidade de dados com Great Expectations;
Compreensão de CDC (Change Data Capture);
Conhecimento emobservabilidade e monitoramento (Elastic Search e Kibana);
Implementação de APIs RESTful;
Familiaridade com containerização (Docker, Kubernetes);
Vivência com Infraestrutura como Código (Terraform, CloudFormation).