Data Engineer
МегаФон, IT
AI assistant
Job Description
Срочный трудовой договор до 31.12.2029г.
Команда технологического развития корпоративного хранилища данных, которая проводит масштабную миграцию ETL-процессов с Oracle Data Integrator (ODI) на Apache Airflow
Стек: Apache Airflow, Python, SQL, Hadoop, Spark (PySpark), Kafka, Oracle, GreenPlum/PostgreSQL, Clickhouse, Trino, Superset, Prometheus, Grafana, Git, Docker, Jira, Confluence
Чем предстоит заниматься
- Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
- Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
- Разрабатывать ETL/ELT-пайплайны
- Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
- Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая