Data Engineer

МегаФон, IT

📍 Москва, Russian Federation On-Site ⏳ 2h ago
AI assistant

Job Description

Срочный трудовой договор до 31.12.2029г.

Команда технологического развития корпоративного хранилища данных, которая проводит масштабную миграцию ETL-процессов с Oracle Data Integrator (ODI) на Apache Airflow

Стек: Apache Airflow, Python, SQL, Hadoop, Spark (PySpark), Kafka, Oracle, GreenPlum/PostgreSQL, Clickhouse, Trino, Superset, Prometheus, Grafana, Git, Docker, Jira, Confluence

Чем предстоит заниматься

  • Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
  • Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
  • Разрабатывать ETL/ELT-пайплайны
  • Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
  • Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая