Data Flow Engineer (Cloudera / Apache NiFi)

Poznaj Onwelo

Onwelo jest partnerem technologicznym, który dostarcza kompleksowe usługi, od strategii i architektury, przez wdrożenia, po utrzymanie, w obszarach transformacji cyfrowej, danych i automatyzacji. Nasz zespół liczy ponad 400 specjalistów z silnymi kompetencjami seniorskim, a na koncie mamy 300+ zrealizowanych projektów dla dużych organizacji w Polsce, Europie i USA. Działamy z kilku polskich miast oraz z biur w Niemczech, Szwajcarii i USA, łącząc lokalną obecność z globalnym zasięgiem.

O projekcie

Jako Data Flow Engineer dołączysz do zespołu odpowiedzialnego za projektowanie, wdrażanie i utrzymanie zaawansowanych, rozproszonych potoków danych w międzynarodowym środowisku sektora bezpieczeństwa publicznego. Projekt opiera się na Cloudera Data Platform (CDP), a kluczowym elementem architektury jest zapewnienie wysokiej niezawodności, automatyzacji (Python) oraz rygorystycznego podejścia do bezpieczeństwa i zarządzania danymi (Data Governance).

Praca związana jest realizacją projektów unijnych o krytycznym znaczeniu, gdzie kluczowe jest przetwarzanie danych w czasie rzeczywistym i near-real-time. Ze względu na specyfikę oraz wymogi bezpieczeństwa projektu, rola ta wymaga codziennej obecności w biurze w Warszawie (praca w trybie on-site).

Twoje zadania

• Projektowanie i rozwój przepływów danych: Definiowanie, wdrażanie, testowanie i utrzymanie złożonych potoków danych w Apache NiFi (Cloudera DataFlow) (procesy ingest, transform, enrich, route, egress).

• Budowa i optymalizacja potoków CDC: Tworzenie potoków przetwarzania danych w czasie rzeczywistym/near-real-time w oparciu o mechanizmy CDC (Change Data Capture) z baz relacyjnych, przy użyciu natywnych konektorów NiFi, SQL Builder oraz narzędzi takich jak Debezium.

• Integracje REST API i systemowe: Budowanie zaawansowanych integracji opartych na REST API, JDBC i Kafce, z uwzględnieniem mechanizmów autoryzacji (OAuth/JWT), limitowania zapytań (rate limiting) oraz zaawansowanej obsługi błędów i procedur recovery (error recovery).

• Zarządzanie architekturą danych (Modern Data Lakehouse): Praca z formatem Apache Iceberg (zarządzanie tabelami, schema evolution, partycjonowanie) oraz integracja z silnikami Spark/Flink.

• Zarządzanie schematami i streaming: Obsługa Apache Kafka jako brokera wiadomości (zarządzanie tematami, producentami/konsumentami) oraz serializacja danych za pomocą Apache Avro (w tym Schema Registry).

• Data Governance, Security & Auditing: Konfiguracja i zarządzanie metadanymi, tagowaniem i śledzeniem pochodzenia danych (data lineage) w Apache Atlas oraz wdrażanie polityk bezpieczeństwa i uprawnień w Apache Ranger w kontekście przepływów NiFi.

• Utrzymanie i Migracje: Monitoring, alertowanie i rozwiązywanie problemów (troubleshooting) z wydajnością potoków. Udział w podnoszeniu wersji (upgrades) oraz migracjach środowisk CDP / NiFi / Kafka.

• Dokumentacja: Tworzenie i aktualizacja procedur operacyjnych (SOPs), runbooków oraz dokumentacji technicznej architektur danych.

Kogo szukamy

Wymagania formalne:

• Gotowość do pracy stacjonarnej (on-site) w Warszawie.

• Minimum jeden z poniższych certyfikatów (lub międzynarodowy odpowiednik uznawany przez instytucje publiczne):

  • Cloudera Certified Developer for Apache NiFi

  • Cloudera Data Flow (CFM) related certification

Doświadczenie i kompetencje techniczne:

• Minimum 2-3 lata praktycznego, codziennego doświadczenia w pracy z Apache NiFi, najchętniej w ekosystemie Cloudera Data Platform (CDP) (projektowanie, wdrożenia, monitoring, troubleshooting zaawansowanych flow).

• Udokumentowane doświadczenie w realizacji co najmniej jednego dużego projektu integracyjnego, w którym NiFi pełniło rolę centralnego narzędzia (API calling, integracje z bazami danych, transformacje, routing).

• Zaawansowana znajomość języka Python w inżynierii danych (przetwarzanie danych, tworzenie customowej logiki w NiFi, automatyzacja flow).

• Praktyczna znajomość i doświadczenie z Apache Iceberg (tworzenie tabel, zarządzanie, integracja z NiFi/Spark/Flink).

• Doświadczenie we wdrażaniu potoków CDC do/z relacyjnych baz danych.

• Praktyczna wiedza z zakresu konfiguracji i zarządzania governance/lineage w Apache Atlas oraz uprawnień w Apache Ranger dla przepływów NiFi (tagowanie, polityki, audyt).

• Doświadczenie z Apache Kafka w ekosystemie CDP (potoki NiFi -> Kafka -> downstream consumers, zarządzanie schematami Avro i zgodnością wersji).

Profil kandydata:

• Zdolności analityczne oraz umiejętność pracy z wymagającą dokumentacją techniczną i procedurami (SOP).

• Komunikatywność i nastawienie na współpracę z architektami danych, inżynierami oraz biznesowymi interesariuszami.

• Bieżąca znajomość języka angielskiego (praca w międzynarodowym środowisku projektowym).

Co oferujemy

• Udział w ciekawych projektach dla globalnych klientów

• Aż 80% awansów w naszej firmie odbywa się wewnętrznie

• 90% kadry zarządzającej ma wykształcenie techniczne

• Dostęp do szkoleń wewnętrznych i ścieżek rozwojowych

• Udział w wydarzeniach zespołowych, firmowych spotkaniach i Town Hallach

• Wsparcie w budowaniu profesjonalnego wizerunku (personal branding)

• Dostęp do ubezpieczenia na życie oraz prywatnej opieki medycznej dla siebie i rodziny

• Karta MultiSport, która wspiera dbałość o zdrowie i kondycję