Data Engineer

Razem z naszym Klientem, liderem w branży dóbr konsumpcyjnychu, poszukujemy osoby na stanowisko Data Engineera. Projekt dotyczy tworzenia zaawansowanych rozwiązań AI do przetwarzania i analizy danych z obszaru IT, telemetryki oraz observability, które umożliwiają monitorowanie i szybkie diagnozowanie złożonych systemów informatycznych w czasie rzeczywistym.

👨‍💻 TWOJA ROLA:

• Praca w środowisku Microsoft Azure — konfiguracja i wykorzystanie usług takich jak Databricks, Azure Data Factory, Logic Apps oraz innych komponentów chmurowych do analityki danych i procesów transformacyjnych.

• Współpraca z architektami danych, menedżerami jakości danych oraz inżynierami AI w celu optymalnej definicji i wdrażania wymaganych transformacji danych.

• Doświadczenie w integracjach z API (zarówno wykorzystanie, jak i budowa), eksporcie danych oraz pracy z plikami JSON, Parquet i innymi.

• Tworzenie lub wykorzystywanie narzędzi CI/CD, zgodnie z najlepszymi praktykami w zakresie zarządzania kodem i jego wdrażania.

• Rozwój oprogramowania w językach Python i SQL na potrzeby strumieni zasilania i przekształcania danych.

• Implementacja reguł oraz procesów transformacji danych.

🔍 CZEGO OCZEKUJEMY OD CIEBIE?

• Minimum 5 lat doświadczenia na stanowisku Data Engineera, w tym doświadczenia w Pythonie (Pandas, NumPy) i SQL oraz pracy z danymi półustrukturyzowanymi i relacyjnymi bazami danych.

• Znajomości tworzenia i zarządzania pipeline’ami ETL do pobierania, czyszczenia i transformacji danych.

• Wiedzy z zakresu praktyk jakości danych i bezpieczeństwa danych, w tym GDPR i kontroli dostępu.

• Podstawowej znajomości Microsoft Azure oraz narzędzi CI/CD.

• Doświadczenie z narzędziami Spark oraz integracji API.

• Otwartość na pracę 100% zdalną.

• Język angielski - C1.

Mile widziane:

• Doświadczenie z rozproszonym przetwarzaniem danych i tuningiem w Spark, Dask lub Ray.

• Znajomość platformy Databricks oraz tworzenia Data API (np. FastAPI).

• Podstawowa wiedza z zakresu MLOps.

• Znajomość baz danych wektorowych.

✨ OFERUJEMY:

• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

• Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.

• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.

• 5000 PLN za polecenie znajomego do naszych projektów.

• Dostęp do najnowszych technologii i narzędzi pracy.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

12264/JR