DataBricks Architect

🌴 Forma pracy: długoterminowo, fulltime, 100% zdalnie 👈

⏰ Start: ASAP 👈

Cześć! 👋

Dla naszego klienta z USA poszukujemy DataBrick Architectów. Prace dotyczą działań w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań opartych na DataBricks. Klient posiada stałe zapotrzebowanie na specjalistów. Projekty które prowadzą przeważnie są krótkoterminowe (spore prawdopodobieństwo na przedłużenia projektów) i ze względu na stałość zapotrzebowania klient jest w stanie zaproponować nowy temat po zakończeniu danego projektu.

Obecnie poszukiwani są specjaliści do projektu AI/ML z obszarów healthcare. Projekt dotyczy analizy danych tekstowych i analizy obrazów generowanych przez urządzenia medyczne (rentgen, rezonans magnetyczny itp.). Zebrane dane będą migrowane do chmurowej bazy opartej na DataBricks. Platforma ma obsługiwać cały cykl życia danych w zgodzie z wbudowanymi funkcjonalnościami zapewniającymi zgodność z przepisami, możliwość przeprowadzania audytów, tworzenia kohort czy wtórnego wykorzystania modeli. Celem jest rozwiązanie problemów związanych z istniejącymi systemami zarządzania danych (rozproszone źródła, ręczne procesy, niewystarczające bezpieczeństwo).

Poszukujemy osób, które biegle znają Pythona. Dla klienta kluczowe jest obycie w środowiskach chmurowych oraz znajomość DataBricks i Apache Spark. Projekty prowadzone przede wszystkim dla firm z USA - w większości przypadków wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00) natomiast jesteśmy w stanie dogadać się jeśli chodzi o godziny pracy.

Ogólny zakres obowiązków:

📍 Stworzenie środowiska i architektury platformy na DataBricks

📍 Kontakt z biznesem pod kontem ustaleń projektowych

📍 Zapewnienie bezpieczeństwa przechowywanie danych

📍 Przetwarzanie i indeksowanie danych DICOM

📍 Walidacja danych, tworzenie pipeline'ów przetwarzania danych, tworzenie i udostępnianie kohort

📍 Zaplanowanie i przeprowadzenie migracji baz danych

📍 Ścisła współpraca z zespołem (m.in. data engineers, data scientists, informatycy kliniczni, zespół wsparcia)

Wymagania:

⚡️ Solidne doświadczenie w pracy w roli data engineera lub pokrewnych rolach (8+ lat)

⚡️ Bardzo dobra znajomość platformy DataBricks oraz Apache Spark

⚡️ Bardzo dobra znajomość Python

⚡️ Doświadczenie w przeprowadzaniu migracji chmurowych

⚡️ Doświadczenie w pracy w środowisku AWS (Amazon s3)

⚡️ Doświadczenie w prowadzeniu projektów związanych z AI/ ML

⚡️ Umiejętności interpersonalne i zespołowe

⚡️ Umiejętność podejmowania inicjatywy i samodzielność

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Mile widziane:

⚡️ Doświadczenie w pracy w środowisku innych środowiskach chmurowych (np. Azure - Data Factory, Synapse, Logic Apps, Data Lake)

⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)

⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów