Senior Data Engineer
Solid Company
AI assistant
Job Description
Zakres obowiązków:
- Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów do ingestowania, transformacji, wzbogacania i przetwarzania danych ustrukturyzowanych oraz nieustrukturyzowanych.
- Projektowanie i optymalizacja modeli danych w relacyjnych, grafowych i NoSQL bazach; praca z knowledge graphs.
- Modelowanie encji i relacji oraz wydajne ładowanie i odpytywanie danych.
- Tworzenie reużywalnych komponentów przetwarzania danych i integracji ze źródłami oraz API.
- Wdrażanie jakości danych, walidacji, data lineage i provenance.
- Zapewnianie niezawodności i skalowalności pipeline'ów: przetwarzanie przyrostowe, obsługa błędów, ponawianie operacji i odzyskiwanie danych.
- Współpraca z architektami, inżynierami i biznesem przy przekładaniu wymagań na rozwiązania techniczne.
- Automatyzacja testów, CI/CD, monitorowanie i doskonalenie rozwiązań Data Engineering.