Data Engineer (Apache NiFi / Kafka / CDC)

W Cyclad współpracujemy z czołowymi międzynarodowymi firmami IT, aby wspierać ich potencjał w dostarczaniu nowoczesnych, przełomowych technologii kształtujących świat przyszłości. Obecnie dla naszego klienta poszukujemy kandydatów na pozycję Data Flow Engineer. Dołącz do zespołu wspierającego kluczową europejską instytucję i rozwijaj swoje kompetencje w międzynarodowym środowisku IT.

Informacje o projekcie:

• Liczba wakatów: 2

• Lokalizacja: Warszawa – Wola (okolice Ronda Daszyńskiego)

• Tryb pracy: model hybrydowy (60% onsite / 40% zdalnie

• Forma umowy: B2B/UoP-kwota do doprecyzowania

• Branża: bezpieczeństwo/ instytucja publiczna

Obowiązki:

• Projektowanie, implementacja i utrzymanie przepływów danych w Apache NiFi

• Budowa i optymalizacja pipeline’ów CDC (real-time / near real-time)

• Integracje systemów (REST API, JDBC, Kafka)

• Zarządzanie schematami danych (Avro), metadata i lineage (Apache Atlas)

• Konfiguracja polityk bezpieczeństwa (Apache Ranger)

• Monitoring, troubleshooting i optymalizacja wydajności pipeline’ów

• Współpraca z zespołami Data Engineering, architektami i biznesem

• Tworzenie dokumentacji technicznej (SOP, runbooki)

• Udział w upgrade’ach i migracjach (CDP / NiFi / Kafka)

Wymagania:

• Min. 6 lat doświadczenia w obszarze w data engineeringu (w tym min. 2–3 lata praktycznego doświadczenia z Apache NiFi)

• Bardzo dobra znajomość Kafka i/lub CDC (Change Data Capture)

• Bardzo dobra znajomość Pythona (automatyzacja, integracje, przetwarzanie danych)

• Język angielski: min. B2

• Wyższe wykształcenie: (licencjat/inżynier lub wyższe)

• Posiadanie min. jednego z poniższych certyfikatów:

-Cloudera Certified Developer for Apache NiFi (lub równoważny)

-Certyfikat związany z Cloudera DataFlow (CFM) (lub równoważny)

Mile widziane:

• Doświadczenie w obszarze data governance w CDP (Apache Atlas, Apache Ranger)

• Znajomość Apache Iceberg

Oferujemy:

• Długoterminowy, stabilny projekt

• Praca przy zaawansowanych rozwiązaniach Big Data

• Prywatną opiekę medyczną wraz z pakietem stomatologicznym (pokrycie 70% kosztów) oraz możliwość rozszerzenia na członków rodziny

• Kartę Multisport (również dla osoby towarzyszącej)

• Ubezpieczenie na życie

• Pracę w międzynarodowym, dynamicznym środowisku