Job Description

1. Conception et développement de pipelines de données

Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).
Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).
Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

Travailler avec des formats de données JSON (parsing, validation, transformation).
Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).
Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).
Intégrer des sources de données hétérogènes (APIs, bases