Data Engineer

Dołączysz do zespołu jako Senior Data Engineer — osoba, która będzie odpowiadać za projektowanie, rozwój i utrzymanie rozwiązań przetwarzania i analizy danych w dużej skali. Kluczowe będą umiejętności pracy z systemami zmian danych (Change Data Capture – CDC), Kafka dla strumieniowania danych oraz Spark / Databricks dla przetwarzania i analiz. Poszukujemy eksperta, który potrafi skutecznie skalować architekturę danych, zapewniać wydajność, stabilność i bezpieczeństwo całego ekosystemu danych.

Obowiązki

• Implementacja i utrzymanie pipeline’ów danych (ETL/ELT) w środowiskach strumieniowych i wsadowych

• Wykorzystanie CDC do rejestrowania i przesyłania zmian danych między systemami w czasie rzeczywistym

• Praca z Apache Kafka (konfiguracja brokerów, topics, connecterów, zarządzanie strumieniami danych)

• Przetwarzanie danych i analizy przy użyciu Apache Spark lub platformy Databricks

• Optymalizacja wydajności, skalowalności i kosztów architektury danych

• Zapewnienie jakości danych, monitoringu i reagowanie na incydenty związane z integracją / strumieniowaniem danych

• Współpraca z zespołami biznesowymi i analitycznymi dla identyfikacji wymagań i przekładania ich na rozwiązania techniczne

Wymagania

• Minimum 8 lat doświadczenia na podobnym stanowisku (Data Engineering, Big Data)

• Mocna wiedza i praktyka z Change Data Capture (CDC)

• Doświadczenie hands-on z Apache Kafka (strumieniowanie danych)

• Doświadczenie z Apache Spark lub Databricks

• Dobra znajomość SQL i/lub innych języków/technologii do przetwarzania danych w dużej skali (np. Python, Scala)

• Umiejętność projektowania rozwiązań skalowalnych, stabilnych, odporne na błędy (fault tolerant)

• Znajomość najlepszych praktyk związanych z bezpieczeństwem danych, monitoringiem i observability

• Biegła znajomość języka angielskiego

Mile widziane

• Doświadczenie w projektach finansowych / SaaS / instytucjach, gdzie wymagane są wysokie standardy jakości, zgodności i bezpieczeństwa

• Znajomość narzędzi / platform wspierających CDC (np. Debezium)

• Doświadczenie z zarządzaniem metadanymi, katalogami danych, politykami kontroli dostępu

• Umiejętność pracy w środowisku chmurowym (AWS, Azure lub GCP) oraz korzystania z infrastruktury jako kodu