Senior Data Engineer (Spark & Airflow)

Noesis

📍 Portugal On-Site ⏳ 3h ago
AI assistant

Job Description

A Noesis procura um(a) Senior Data Engineer com experiência em arquitetura de dados ou liderança técnica para integrar uma equipa de Data Engineering.

Principais Tarefas e Responsabilidades

  • Analisar e migrar processos ETL de IBM DataStage para Spark (PySpark e SQL), adaptando e otimizando para execução distribuída;
  • Migrar a orquestração de workflows de CAWA para Apache Airflow, implementando DAGs e garantindo integração com os processos Spark;
  • Atuar como referência técnica na definição de standards, boas práticas e roadmap técnico de Data Engineering.

Requisitos

  • Licenciatura em Informática ou similar;
  • Mínimo de 6 anos de experiência em Data Engineering, incluindo funções de arquitetura ou liderança técnica;
  • Conhecimento comprovado na definição e evolução de arquiteturas de dados modernas, incluindo Lakehouse e plataformas analíticas híbridas (Data Lake e Data Warehouse);
  • Domínio de SQL, Python e