Data Engineer
Агентство цифровой трансформации
Job Description
Ключевые задачи:
Осуществлять разработку и поддержку процессов ETL/ELT для загрузки данных в базы данных.
Создавать структуры баз данных и определять параметры хранилищ данных.
Осуществлять автоматизацию процессов обработки и загрузки данных.
Осуществлять анализ данных с очисткой от ошибок и дубликатов.
Осуществлять подготовку датасетов из больших объемов данных для анализа.
Выполнять организацию инфраструктуры для хранения и управления данными.
Осуществлять построение конвейеров обработки данных.
Выполнять настройку среды и обучение моделей машинного обучения на подготовленных данных.
Мы ожидаем:
Знание Python или R, SQL.
Понимание работы с API, процессов ETL/ELT, аутентификации и авторизации.
Знание инструментов и технологий Big Data.
Опыт работы с контейнеризацией (Docker).
Знание систем контроля версий (Git/GitLab).
Опыт работы с Linux системами.
Знание