Job Description

Задачи:

Подключать источники: реляционные и NoSQL БД, API, файлы, CDC. Настраивать batch/ELT-загрузки и выгрузки во внешние системы.
Разрабатывать в Lakehouse справочники, факты, витрины и сервисные датасеты, учитывая объёмы, историчность и сценарии потребления.
Делать near-real-time пайплайны на Kafka и Flink: доставка, фильтрация, обогащение и маршрутизация событий.
Готовить и публиковать признаки в Feature Store для ML/AI и скоринга.
Оптимизировать SQL-запросы, модели и структуру таблиц: партиционирование, compaction, schema evolution.
Писать проверки качества данных (dbt, SQL, Python), настраивать мониторинг, разбирать инциденты и расхождения.
Описывать data products в каталоге: metadata, lineage, owner, SLA.

Обязательно: