Senior Data Engineer (Spark & Airflow)
Noesis
AI assistant
Job Description
A Noesis procura um(a) Senior Data Engineer com experiência em arquitetura de dados ou liderança técnica para integrar uma equipa de Data Engineering.
Principais Tarefas e Responsabilidades
- Analisar e migrar processos ETL de IBM DataStage para Spark (PySpark e SQL), adaptando e otimizando para execução distribuída;
- Migrar a orquestração de workflows de CAWA para Apache Airflow, implementando DAGs e garantindo integração com os processos Spark;
- Atuar como referência técnica na definição de standards, boas práticas e roadmap técnico de Data Engineering.
Requisitos
- Licenciatura em Informática ou similar;
- Mínimo de 6 anos de experiência em Data Engineering, incluindo funções de arquitetura ou liderança técnica;
- Conhecimento comprovado na definição e evolução de arquiteturas de dados modernas, incluindo Lakehouse e plataformas analíticas híbridas (Data Lake e Data Warehouse);
- Domínio de SQL, Python e