Data Engineer

SberData - департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных - Корпоративную аналитическую платформу, объем которого превышает 100 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Обеспечим развитие и интересные задачи в направлениях: работа над сопровождением крупных проектов хранилищ данных на базе Apache Hadoop и Kubernetes; Hadoop Ecosystem: Apache Spark, Hive, HBase, Kafka, NiFi; оптимизация процессов: Performance Tuning, улучшение SLA поставки данных; мониторинг качества данных, управление Мастер-данными и поддержание доступности платформ.

Задачи:

• разбор и решение инцидентов по платформам и сервисам: Spark, Kafka, Hive, K8s
• взаимодействие с разработчиками, бизнесом и 2-й линией
• анализ причин проблем, выработка предиктивных мер и