Senior Data Engineer
Poszukujemy Senior Data Engineera do zespołu rozwijającego nowoczesne rozwiązania enterprise oraz narzędzia wykorzystujące technologie AI.
Projekt koncentruje się na projektowaniu, rozwijaniu i wdrażaniu skalowalnych rozwiązań do przetwarzania, analizy oraz transformacji danych. Kluczowymi technologiami są Apache Spark, Databricks i Python.
Praca obejmuje rozwój aplikacji opartych na Spark, optymalizację procesów przetwarzania danych oraz współpracę z międzynarodowym, cross-funkcyjnym zespołem.
Szukamy osób z dużym doświadczeniem w Data Engineeringu, które potrafią projektować skalowalne rozwiązania, dbają o jakość kodu i chętnie dzielą się wiedzą oraz dobrymi praktykami inżynierskimi.
Zakres obowiązków
Projektowanie, rozwijanie i utrzymywanie skalowalnych aplikacji opartych na Apache Spark.
Tworzenie rozwiązań do przetwarzania, analizy i transformacji dużych zbiorów danych.
Optymalizacja wydajności procesów oraz aplikacji data engineeringowych.
Definiowanie i egzekwowanie standardów kodowania oraz dobrych praktyk inżynierskich.
Aktywny udział w code review.
Współpraca z cross-funkcyjnymi zespołami projektowymi.
Tworzenie i utrzymywanie dokumentacji technicznej.
Dbanie o jakość, skalowalność i łatwość utrzymania rozwijanych rozwiązań.
Wymagania
Minimum 5 lat doświadczenia w profesjonalnym software development.
Bardzo dobre doświadczenie z Apache Spark.
Praktyczna znajomość Databricks i/lub Azure Synapse / Microsoft Fabric.
Bardzo dobra znajomość Pythona.
Doświadczenie z bibliotekami Pandas i/lub Polars.
Praktyczna znajomość formatu Parquet.
Doświadczenie w pracy z Delta Tables.
Bardzo dobra znajomość zagadnień związanych z przetwarzaniem, analizą i transformacją danych.
Doświadczenie z architekturą mikroserwisową.
Umiejętność pracy w międzynarodowym i cross-funkcyjnym zespole.
Znajomość języka angielskiego na poziomie Intermediate+.
Mile widziane
Doświadczenie z usługami Azure Cloud, takimi jak Service Bus, Data Lake, Blob Storage czy Redis.
Znajomość FastAPI.
Doświadczenie z Dockerem.
Znajomość Kubernetes.
Oferujemy
kontrakt B2B,
stawka: 140–170 pln/h
lokalizacja: 100% zdalnie.
Proces rekrutacyjny
Screening.
Rozmowa techniczna.
Decyzja.