Senior Cloud Data Engineer

O projekcie

• Rozbudowa i utrzymanie data lake oraz procesów przetwarzania danych, które zasilają rozwiązania AI/ML odpowiedzialne m.in. za opportunity scoring.

• Rozbudowany management tabel z danymi w formacie Iceberg pod kątem zautomatyzowanej ewolucji schemy - schema jest różna pomiędzy klientami i lubi się zmieniać, jest to zaadresowane z przebudową schemy przy zero-downtime.

• Zrównoleglone i rozproszone data ingestion z dynamicznym tworzeniem zadań w Airflow.

• Orkiestracja trenowania modeli MLowych dla ponad 100 organizacji z jednoczesnym minimalizowaniem czasu potrzebnego na trening i inteligentnym zarządzaniem quotą w AWS SageMaker.

• Walidacja jakości danych - pełny lineage, adaptacyjne dzielenie kwerend dla dużych organizacji, itd.

• Izolacja pomiędzy organizacjami - dane, konfiguracje, harmonogramy, itd.

• Observability trenowanych modeli MLowych - zarówno podczas treningu jak również walidacji.

  
  

Wymagane

• Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym co najmniej 1 rok w projektach związanych z Machine Learningiem.

• Bardzo dobra znajomość Python - praktyczne wykorzystanie w projektach Data Engineering i ML.

• Doświadczenie w pracy z SQL i relacyjnymi bazami danych (PostgreSQL, Trino).

• Praktyczna znajomość Apache Airflow, w tym koncepcji data lineage i dynamicznego przydzielania zadań.

• Znajomość koncepcji uczenia maszynowego oraz technologii/frameworków ML takich jak XGBoost, Scikit-Learn, PyTorch, TensorFlow.

• Doświadczenie w pracy z chmurą AWS, zwłaszcza usługami związanymi z przetwarzaniem danych (AWS Glue, AWS SageMaker).

• Podstawowa wiedza z zakresu data observability i monitorowania jakości danych.

• Znajomość koncepcji MLOps oraz praktyk wspierających skalowalne wdrażanie modeli ML.

• Bardzo dobra znajomość języka polskiego oraz angielskiego na poziomie min. B2.

  
  

Mile widziane

• Znajomość przetwarzania danych strumieniowych.

• Znajomość data observability przy użyciu Splunk/SignalFx.

• Znajomość IaC z wykorzystaniem Terraform.

Dlaczego j-labs!

• Dołączysz do firmy stworzonej przez inżynierów dla inżynierów, która istnieje na rynku od 15 lat. Obecnie zatrudniamy ponad 500 osób.

• j-labs to stabilność i długofalowa współpraca – około 25% załogi to osoby pracujące już ponad 5 lat!

• Eksperci przyciągają ekspertów - średnie doświadczenie naszych inżynierów wynosi 11 lat, a 30% zostaje zatrudnionych z polecenia.

• Stawiamy na knowledge sharing i rozwój . Organizujemy Talk4Devs, meet’upy, dajemy Ci przestrzeń do budowania swojej marki osobistej jako prelegent, czy prowadzenia własnych projektów, których rezultaty możesz przedstawiać m.in. na naszym blogu.

• Dołączysz do Gildii Technologicznej lub stworzysz własną - nasze community zrzeszają specjalistów w obszarach: Java, Kotlin, .NET, Frontend, Management, DevOps, Quality Assurance.

• Mamy zakodowane, że jest czas pracy i czas nie pracy, więc bardzo dbamy o to, aby work life balance został zachowany.

• Otrzymaliśmy w tym roku certyfikat Great Place to Work (aż 80% odpowiedzi w ankiecie dotyczącej różnych obszarów wybierało najwyższe noty, jesteśmy w pierwszej 10 firm z najlepszym wynikiem)