Data Engineer (Hadoop/Spark)

ВСК, САО

📍 Москва, Russian Federation On-Site ⏳ 5h ago
AI assistant

Job Description

О проекте: Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)

Наш стек: Мы все работаем на современной ML-платформе.

Используем PySpark, SQL, Python, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей

Наша команда: 7 человек: DE, DS, DA и MLE

Чем предстоит заниматься:

  • Формирование датасетов, поиск и подгрузка данных
  • Автоматизация Data Pipelines
  • Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
  • Оптимизация сборки датасетов и работа с багами
  • Подготовка данных для внедрения математических моделей в конвейер принятия решений

Что мы ждем:

  • Опыт в направлении от 3 лет
  • Опыт с Apache Airflow: настройка,