Senior Data Engineer

Solid Company

📍 Kraków, Poland On-Site ⏳ 6h ago
AI assistant

Job Description

Zakres obowiązków:

  • Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów do ingestowania, transformacji, wzbogacania i przetwarzania danych ustrukturyzowanych oraz nieustrukturyzowanych.
  • Projektowanie i optymalizacja modeli danych w relacyjnych, grafowych i NoSQL bazach; praca z knowledge graphs.
  • Modelowanie encji i relacji oraz wydajne ładowanie i odpytywanie danych.
  • Tworzenie reużywalnych komponentów przetwarzania danych i integracji ze źródłami oraz API.
  • Wdrażanie jakości danych, walidacji, data lineage i provenance.
  • Zapewnianie niezawodności i skalowalności pipeline'ów: przetwarzanie przyrostowe, obsługa błędów, ponawianie operacji i odzyskiwanie danych.
  • Współpraca z architektami, inżynierami i biznesem przy przekładaniu wymagań na rozwiązania techniczne.
  • Automatyzacja testów, CI/CD, monitorowanie i doskonalenie rozwiązań Data Engineering.

Projekt i