Data Flow Engineer [K/M]

O FIRMIE: 

Fabrity S.A. to dynamicznie rozwijająca się firma technologiczna, specjalizująca się w inżynierii oprogramowania, generatywnej sztucznej inteligencji oraz przemysłowym Internecie rzeczy (IoT). Tworzymy kompleksowe rozwiązania, które pomagają przedsiębiorstwom automatyzować procesy, zwiększać efektywność operacyjną oraz podejmować kluczowe decyzje dzięki skutecznej analizie danych.   Usprawniamy procesy biznesowe, wykorzystując wiodące platformy, takie jak ServiceNow, Microsoft Power Platform oraz nasz autorski produkt low-code, Fastive. Dzięki temu wspieramy organizacje w ich cyfrowej transformacji, minimalizując przestoje i optymalizując operacje na każdym etapie. Pracujemy dla firm z różnych branż, w tym farmaceutycznej, ochrony zdrowia, usług finansowych, produkcji, motoryzacji i handlu detalicznego. Zaufały nam znane marki, między innymi ABB, Bayer, Carrefour, PKO BP, Dormakaba, Sanofi, Toyota Bank, Frontex, Liebherr, Pepsico i Saint-Gobain.  

O PROJEKCIE:

Projekt realizowany jest w ramach jednostki odpowiedzialnej za utrzymanie i rozwój infrastruktury IT klienta (Agencja Unii Europejskiej). Data Flow Engineer będzie wspierać integrację platformy danych z innymi systemami oraz źródłami danych organizacji. Rola obejmuje działania związane z zapewnieniem spójnego i efektywnego przepływu danych pomiędzy systemami. Praca odbywa się w środowisku międzynarodowym, przy wykorzystaniu nowoczesnych technologii i narzędzi data engineering. Projekt daje możliwość realnego wpływu na rozwój kluczowej platformy danych w organizacji.

W TEJ ROLI BĘDZIESZ REALIZOWAĆ PONIŻSZE ZADANIA:

• Projektowanie, implementacja, testowanie i utrzymanie złożonych przepływów danych w Cloudera DataFlow (Apache NiFi) – ingest, transformacja, wzbogacanie, routing i dystrybucja danych.

• Budowa i optymalizacja pipeline’ów CDC (real‑time / near‑real‑time) z wykorzystaniem NiFi, Kafka oraz Debezium / konektorów SQL CDC.

• Integracja platformy danych z innymi systemami oraz zewnętrznymi źródłami danych (REST API, JDBC, Kafka i inne protokoły).

• Zarządzanie schematami danych (Avro), metadanymi oraz lineage w Apache Atlas.

• Konfiguracja bezpieczeństwa i governance przepływów danych (polityki Apache Ranger).

• Monitorowanie, alertowanie oraz rozwiązywanie problemów wydajnościowych i niezawodności pipeline’ów danych.

• Współpraca z data engineerami, architektami oraz interesariuszami biznesowymi przy definiowaniu wymagań i architektury przepływów danych.

• Tworzenie i utrzymanie dokumentacji operacyjnej (SOP, runbooki) dla przepływów danych.

• Udział w aktualizacjach i migracjach środowisk CDP / NiFi / Kafka.

OCZEKIWANIA WZGLĘDEM KANDYDATÓW:

• Znajomość języka angielskiego na poziomie min. B2.

• Wykształcenie wyższe (licencjat/inżynier).

• Minimum 2–3 lata praktycznego doświadczenia w codziennej pracy z Apache NiFi, preferencyjnie w środowisku Cloudera Data Platform (projektowanie, wdrażanie, monitoring, troubleshooting zaawansowanych flow).

• Udokumentowane doświadczenie w realizacji co najmniej jednego dużego projektu integracyjnego, w którym NiFi pełnił centralną rolę.

• Zaawansowana wiedza w zakresie projektowania i utrzymywania złożonych przepływów danych w Apache NiFi.

• Bardzo dobra znajomość Pythona (przetwarzanie danych, automatyzacja, logika niestandardowa, integracje).

• Doświadczenie w integracjach opartych o REST API (uwierzytelnianie OAuth/JWT, obsługa błędów, rate limiting).

• Praktyczna wiedza i doświadczenie w pipeline’ach CDC do/z relacyjnych baz danych.

• Znajomość Apache Iceberg (tworzenie i zarządzanie tabelami, ewolucja schematów).

• Doświadczenie w zarządzaniu data governance i lineage w Apache Atlas oraz bezpieczeństwem w Apache Ranger.

• Doświadczenie w pracy z Apache Kafka w ekosystemie CDP oraz ze standardem serializacji Apache Avro.

OCZEKIWANIA WZGLĘDEM CERTYFIKATÓW:

Wymagany co najmniej 1 certyfikat spośród poniższych:

• Cloudera Certified Developer for Apache NiFi lub certyfikat równoważny.

• Certyfikat powiązany z Cloudera DataFlow (CFM) lub certyfikat równoważny.
  

W FABRITY MOŻESZ LICZYĆ NA: 

• Benefity w ramach systemu kafeteryjnego.

• Współpracę w oparciu o umowę B2B.

• Możliwość realizacji usług w modelu hybrydowym z lokalizacji biura naszego klienta (Warszawa).

• Zaangażowanie w projekt mający realny wpływ na kierunek rozwoju biznesu naszego klienta.

• Realizację usług dla prestiżowej instytucji publicznej.