Senior Data Engineer

Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Senior Data Engineer.

Zakres obowiązków:

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, healthcare, finanse, bankowość czy produkcja.

• Wsparcie wielkoskalowej transformacji systemów z SQL Server do platformy Databricks / Delta Lake w środowisku ubezpieczeniowym klienta.

• Analiza i transformacja złożonej logiki biznesowej (stored procedures) w SQL na czysty, skalowalny i łatwy w utrzymaniu kod w technologiach Python / PySpark.

• Aktywny rozwój i utrzymanie dużej bazy kodu inżynierii danych (data engineering codebase), współdzielonej przez wiele zespołów.

• Projektowanie i rozwijanie modeli danych w ramach Medallion Architecture (warstwy Bronze / Silver / Gold).

• Implementacja kodu transformacyjnego klasy produkcyjnej (pakiety, moduły, reużywalne komponenty), wykraczającego poza użycie samych notebooków.

• Zastosowanie najlepszych praktyk inżynierii oprogramowania (Clean Code, OOP, modularyzacja, refaktoryzacja).

• Praca z bardzo dużymi wolumenami danych (petabajty) oraz wysoce równoległymi, opartymi na zdarzeniach (event-driven) transformacjami.

• Udział w code reviews oraz dyskusjach dotyczących projektowania technicznego architektury.

• Opcjonalnie: wsparcie workflowów orkiestracyjnych (np. Azure Data Factory) oraz rozwój procesów i CI/CD pipelines.

Oczekujemy:

• Praktycznego doświadczenia technicznego (poziom Strong Mid-Level / Senior) – weryfikowanego na podstawie rzeczywistych umiejętności inżynieryjnych, a nie wyłącznie lat pracy.

• Bardzo dobrej, praktycznej znajomości języka Python oraz technologii PySpark.

• Udokumentowanego doświadczenia w pracy z Databricks oraz Delta Lake.

• Umiejętności pracy w dużych, współdzielonych środowiskach kodu.

• Biegłej znajomości SQL, szczególnie w zakresie czytania i rozumienia bardzo złożonej logiki.

• Solidnego doświadczenia w programowaniu obiektowym (OOP) oraz stosowaniu zasad Clean Code i refaktoryzacji.

• Praktyki w pracy z przepływami dla rozwiązań klasy enterprise (enterprise development workflows) oraz zdolności analitycznego rozkładania istniejącego kodu linijka po linijce.

• Silnych kompetencji w modelowaniu danych (transakcyjnym i analitycznym) oraz zrozumienia architektur wielowarstwowych (Bronze / Silver / Gold).

• Gotowości do przejścia rozmowy technicznej weryfikującej produkcyjny kod PySpark/Python.

• Mile widziane: doświadczenie z Azure Data Factory, Git, CI/CD pipelines, DevOps oraz narzędziami analitycznymi takimi jak Power BI

• Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku oraz mile widziana jest znajomość języka niemieckiego.

• Mile widziana jest dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca.

Oferujemy:

• Długofalowa współpraca z wynagrodzeniem w przedziale 140-170 PLN netto/godz. + VAT.

• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. 

• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). 

• Współpraca w pełni zdalna. 

• Benefity - prywatna opieka medyczna, karta Multisport. 

• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.