Senior DataBricks Engineer (with ML)

🌴 Forma pracy: fulltime, 100% zdalnie 👈

⏰ Start: w przeciągu 2-3 tygodni 👈

Cześć! 👋 

Dla naszego klienta z USA poszukujemy Senior DataBricks Engineera, który ma również doświadczenie w zakresie Machine Learning. Klient zajmuje się wspieraniem firm w migracjach chmurowych. Projekty które prowadzi klient przeważnie są krótkoterminowe (często są przedłużane), a ze względu na stałość zapotrzebowania klient jest w stanie zaproponować nowy temat bezpośrednio po zakończeniu danego projektu.

Projekt, do którego obecnie poszukujemy specjalisty, dotyczy migracji modelu ML (bez wprowadzania zmian w modelu) z różnych narzędzi AWS do DataBricks dla firmy tworzącej platformę do zarządzania danymi klientami. Klient przeprowadza migrację narzędzie ML dlatego projekt wymaga doświadczenia zarówno w AWS jak i zastosowaniu ML w DataBricks (z naciskiem na Databricksy oraz MLFlow). Projekt przewidziany jest na około 3 miesiące , ale klientowi zależy na długoterminowej współpracy (możliwej ze względu na ilość podobnych projektów nad którymi pracują). Praca w zespole, nad którym będzie czuwać architekt (z zespołu z USA) odpowiedzialny za główną komunikację z klientem. Mimo to zależy nam by kandydaci wykazywali się dobrymi umiejętnościami komunikacji biznesowej.

Projekt dla klienta z USA, natomiast nie wymagamy pracy w pełnej zakładce godzinowej - jesteśmy otwarci na dostosowanie godzin pracy (np. od 10:00 do 18:00).

Czym będziesz się zajmować?

📍 Ocena wymagań projektowych, analiza obecnej oraz stworzenie nowej architektury modelu

📍 Przygotowanie platformy do integracji z Databricks oraz zapewnienie zgodności i konfiguracji Unity Catalog

📍Przetwarzanie i transformacja danych z agregacją metryk dla dwóch powiązanych zadań Glue

📍Tworzenie pipeline’ów ETL do przetwarzania danych o wizytach na platformie i użytkownikach, uwzględniających spłaszczanie danych na potrzeby modelu

📍 Implementacja MLOps z wykorzystaniem MLflow

📍 Uruchomienie modelu na Databricks Serving Endpoints w celu testowania opóźnień

📍 Stworzenie ram testowych i wsparcie zespołu Tealium w testowaniu

📍 Przygotowanie planu implementacji do uruchomienia na żywo

📍 Dokumentacja wyników pracy z wykorzystaniem Unity Catalog

Jak wygląda idealne doświadczenie?

⚡️ 6+ lat doświadczenia w obszarach data engineering/ data science

⚡️ Bardzo dobra znajomość Apache Spark oraz platformy DataBricks

⚡️ Solidne doświadczenie w obszarach ML

⚡️ Doświadczenie z MLOps oraz MLflow

⚡️ Doświadczenie w pracy w środowisku AWS

⚡️ Doświadczenie w przeprowadzaniu podobnych migracji

⚡️ Umiejętności interpersonalne i zespołowe - zależy nam na osobach kładących nacisk na efektywną (niekoniecznie efektowną ) komunikację

⚡️ Umiejętność podejmowania inicjatywy i samodzielność

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Mile widziane:

⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL)

⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów