Senior DataBricks Engineer

🌴 Forma pracy: długoterminowo, fulltime, 100% zdalnie 👈

⏰ Start: ASAP 👈 

Cześć! 👋 

Dla naszego klienta z USA poszukujemy DataBrick Engineerów. Klient zajmuje się wsparciem firm w transformacjach chmurowych w oparciu o DataBricks. Przekrój projektów i branż jest szeroki. Prace dotyczą działań w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań opartych na DataBricks. Klientowi zależy na długoterminowej współpracy. Prowadzone projekty są różnej długości, ale dzięki stałemu zapotrzebowaniu specjaliści zatrudnieni u klienta swobodnie przechodzą z zakończonego projektu do nowych tematów. Obecnie poszukiwani są kolejni specjaliści do projektu z wykorzystaniem YellowBrick. 

Projekt dla klienta zajmującego się analizą zachowań konsumenckich i marketingiem opartym na danych. Prace dotyczą migracji hurtowni danych z systemu Yellowbrick do Databricks. Celem jest stworzenie nowoczesnej warstwy konsumpcyjnej danych („Consumption Layer”) w architekturze Lakehouse na Databricks, w oparciu o Unity Catalog i zoptymalizowane tabele Photon.

Dla klienta kluczowe jest obycie w środowiskach chmurowych (Azure i/lub AWS) oraz znajomość DataBricks i Apache Spark. Projekty prowadzone przede wszystkim dla firm z USA, ale wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00), więc chętnie dogadamy się jeśli chodzi o godziny pracy.  

Ogólny zakres obowiązków:

📍 Przeniesienie danych, funkcji i logiki z Yellowbrick do Databricks

📍 Zapewnienie bezpieczeństwa przechowywanie danych

📍 Zbudowanie skalowalnego frameworka oraz pipeline’ów danych

📍 Przetwarzanie i indeksowanie danych

📍 Walidacja danych, tworzenie pipeline'ów przetwarzania danych, tworzenie i udostępnianie kohort

📍 Zaplanowanie i przeprowadzenie migracji baz danych

📍 Ścisła współpraca z zespołem (m.in. data engineers, data scientists, project managers, zespoły wsparcia) + wsparcie użytkowników biznesowych

Wymagania:

⚡️ Solidne doświadczenie w pracy w roli data engineera lub pokrewnych rolach (8+ lat)

⚡️ Bardzo dobra znajomość platformy DataBricks oraz Apache Spark

⚡️ Bardzo dobra znajomość Python

⚡️ Doświadczenie w pracy w środowisku Azure (Data Factory, Synapse, Logic Apps, Data Lake) i/lub AWS

⚡️ Umiejętności interpersonalne i zespołowe

⚡️ Umiejętność podejmowania inicjatywy i samodzielność

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Mile widziane:

⚡️ Doświadczenie w prowadzeniu projektów związanych z ML

⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)

⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

⚡️ Doświadczenie z YellowBrick

 Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów