Data Flow Engineer

W Cyclad współpracujemy z czołowymi międzynarodowymi firmami IT, aby wspierać ich potencjał w dostarczaniu nowoczesnych, przełomowych technologii kształtujących świat przyszłości. Obecnie dla naszego klienta poszukujemy kandydatów na pozycję Data Flow Engineer. Dołącz do zespołu wspierającego kluczową europejską instytucję i rozwijaj swoje kompetencje w międzynarodowym środowisku IT.

Informacje o projekcie:

• Liczba wakatów: 2

• Lokalizacja: Warszawa – Wola (okolice Ronda Daszyńskiego)

• Tryb pracy: model hybrydowy (60% onsite / 40% zdalnie)

• Branża: bezpieczeństwo/ instytucja publiczna

Obowiązki:

• Projektowanie, implementacja i utrzymanie przepływów danych w Apache NiFi

• Budowa i optymalizacja pipeline’ów CDC (real-time / near real-time)

• Integracje systemów (REST API, JDBC, Kafka)

• Zarządzanie schematami danych (Avro), metadata i lineage (Apache Atlas)

• Konfiguracja polityk bezpieczeństwa (Apache Ranger)

• Monitoring, troubleshooting i optymalizacja wydajności pipeline’ów

• Współpraca z zespołami Data Engineering, architektami i biznesem

• Tworzenie dokumentacji technicznej (SOP, runbooki)

• Udział w upgrade’ach i migracjach (CDP / NiFi / Kafka)

Wymagania:

• Wyższe wykształcenie: (licencjat/inżynier lub wyższe)

• Język angielski: min. B2

• Min. 8 lat doświadczenia zawodowego po ukończeniu edukacji

• Min. 6 lat na podobnym stanowisku

• Posiadanie min. jednego z poniższych certyfikatów:

-Cloudera Certified Developer for Apache NiFi (lub równoważny)

-Certyfikat związany z Cloudera DataFlow (CFM) (lub równoważny)

• Ekspercka znajomość Apache NiFi (projektowanie, implementacja i utrzymanie złożonych data flow)

• Zaawansowane umiejętności w obszarze programowania w Pythonie (automatyzacja, integracje, przetwarzanie danych)

• Doświadczenie w CDC (Change Data Capture)

• Znajomość Apache Iceberg (zarządzanie tabelami, partycjonowanie, ewolucja schematu)

• Data governance w CDP (Apache Atlas, Apache Ranger)

• Doświadczenie w pracy z Apache Kafka oraz Apache Avro

Wymagania szczegółowe

• Min. 2–3 lata praktycznego doświadczenia z Apache NiFi (najlepiej w środowisku CDP)

• Udział w co najmniej jednym dużym projekcie integracyjnym opartym o NiFi

• Doświadczenie w budowie pipeline’ów CDC (bazy relacyjne)

• Praktyczna znajomość Apache Atlas i Ranger (lineage, polityki bezpieczeństwa)

• Integracja NiFi z Kafka (zarządzanie schematami, Avro)

• Znajomość Apache Iceberg w praktyce

Oferujemy:

• Długoterminowy, stabilny projekt (min. 4 lata)

• Praca przy zaawansowanych rozwiązaniach Big Data

• Prywatną opiekę medyczną wraz z pakietem stomatologicznym (pokrycie 70% kosztów) oraz możliwość rozszerzenia na członków rodziny

• Kartę Multisport (również dla osoby towarzyszącej)

• Ubezpieczenie na życie

• Pracę w międzynarodowym, dynamicznym środowisku