Data Engineer/ML Engineer

Opis projektu

Nasz Klient to państwowa jednostka o znaczeniu strategicznym, odpowiedzialna za utrzymanie i rozwój kluczowej infrastruktury w sektorze lotnictwa cywilnego. Instytucja ta pełni nadrzędną rolę w zapewnianiu ciągłości i bezpieczeństwa operacji transportowych na skalę krajową, działając w oparciu o rygorystyczne normy publiczne oraz międzynarodowe standardy regulacyjne.

Zadania:

• Projektowanie, budowa i utrzymanie niezawodnych potoków ETL/ELT dla danych wsadowych i strumieniowych.

• Modelowanie danych (warstwy surowe, przetworzone, prezentacyjne), wersjonowanie i utrzymanie linii pochodzenia danych.

• Współpraca z Product Ownerem oraz Data Scientistami przy definiowaniu wymagań danych i SLA usług danych/modeli.

• Planowanie pracy w Scrum, rozbijanie zadań na iteracje, estymacje, przeglądy i retrospektywy.

• Koordynacja przebiegu prac nad przydzielonym segmentem platformy danych, synchronizacja z zespołami aplikacyjnymi.

• Weryfikacja postępów: monitorowanie jakości danych, stabilności jobów, wskaźników kosztu/wydajności i niezawodności.

• Utrzymanie i rozwój środowisk CI/CD dla kodu danych i artefaktów analitycznych (repozytoria, artefakty, polityki).

• Konteneryzacja i orkiestracja usług danych oraz inferencji (budowa obrazów, zarządzanie manifestami i rolloutami).

• Integracja narzędzi MLOps (rejestr eksperymentów i modeli, śledzenie metryk, automatyzacja wdrożeń modeli).

• Optymalizacja kosztów i wydajności: tuning zapytań, partycjonowanie, kompresja, cache, dobór klas zasobów.

• Implementacja testów dla danych i potoków (jednostkowe, integracyjne, walidacje jakości danych).

• Utrzymanie katalogu danych i metadanych, klasyfikacje, polityki retencji i wersjonowania zbiorów danych.

• Przygotowanie i aktualizacja dokumentacji technicznej, runbooków i procedur operacyjnych.

• Udział w przeglądach architektonicznych i standardyzacji wzorców integracji danych.

• Wspieranie Data Scientistów w przygotowaniu danych cech, materializacji widoków i wydajnym dostępie do danych.

• Współtworzenie planów rozwoju platformy danych oraz roadmapy migracji/modernizacji (on‐prem, chmura, hybryda).

• Optymalizacja pracy zespołu poprzez automatyzację powtarzalnych czynności i wprowadzanie dobrych praktyk.

Wymagania:

• Wykształcenie wyższe: informatyka, inżynieria danych, matematyka, automatyka, elektronika lub pokrewne.

• Doświadczenie w projektowaniu i utrzymaniu potoków danych (wsad/stream), pracy z SQL i bazami relacyjnymi oraz nierelacyjnymi.

• Praktyka w ekosystemie Big Data/stream (np. Spark, Kafka) oraz w automatyzacji wdrożeń (CI/CD).

• Umiejętność pracy z konteneryzacją i orkiestracją (np. Docker, Kubernetes) oraz narzędziami IaC.

• Doświadczenie w wersjonowaniu artefaktów danych i modeli, podstawy MLOps (np. rejestr eksperymentów, metryki).

• Znajomość wzorców projektowania rozwiązań danych, zagadnień jakości danych i monitoringu.

• Umiejętność diagnozowania problemów wydajnościowych oraz optymalizacji kosztów środowisk danych.

• Doświadczenie w pracy zespołowej, code review, dokumentowaniu rozwiązań i pracy w metodykach zwinnych.

• Biegłe posługiwanie się językiem polskim.

Co oferujemy?

• Pracę zdalną z możliwością przyjazdów co jakiś czas do biura w Warszawie.

• Pracę na naszym sprzęcie.

• Płaską strukturę zarządzania.

• Samoorganizujące się zespoły.

• Dużo przestrzeni na własną inicjatywę.

• Możliwość delegacji na terenie Unii Europejskiej lub Wielkiej Brytanii.