Senior Data Engineer (with DataBricks)

⏳ Czas projektu: 3 miesiące 👈

🌴 Forma pracy: 100% zdalnie 👈

⏰ Start: 26.08 👈

Cześć! 👋 

Do projektu, który realizujemy dla naszego klienta w USA poszukujemy Senior Data Engineer'a. 

Projekt polega na migracji tabel z Hive do Unity Catalog. Głównym narzędziem wykorzystywanym w projekcie jest platforma DataBricks, a w szczególności UCX (zmodyfikowanym przez klienta), które posiada akceleratory pomagające w migracji. Rola nie wymaga doświadczenia związanego z transformacjami danych itp., natomiast możliwe że będzie zatrudniona osoba spotka się z bardzo prostymi DevOpsowym zadaniami takimi jak klonowanie najczęściej wykorzystywanych tabel z Hive do Unity. Najbardziej czasochłonnym zadaniem będzie ręczna zmiana przestrzeni nazw tabel z 2 poziomów na 3 poziomy.

Praca w kameralnym zespole -> docelowo po stronie klienta pracować będzie 2 Data Engineerów i 1 Data Archiktekt, a ich pracę wspierać będą zespół dostarczony przez odbiorcę projektu. Ze względu na usytuowanie klienta w Kalifornii, wymagana jest dostępność w godzinach popołudniowych (ok. 3-godzinny overlap, np. między 17-20 czasu polskiego).

Zakres obowiązków:

📍 Zaprojektowanie i przeprowadzenie migracji z Hive do Unity Catalog

📍 Projektowanie i rozwój środowisk danych dostosowanych do potrzeb odbiorcy końcowego (m. in. z rozwiązaniami Microsoft)

📍 Tworzenie specyfikacji projektowych 

📍 Ścisła współpraca z zespołem data engineerów, data scientistów, architektów itp z Polski oraz USA

Wymagania:

⚡️ Udokumentowane solidne doświadczenie w pracy jako Data Engineer

⚡️ Bardzo dobra znajomość platformy DataBricks (w szczególności UCX)

⚡️ Bardzo dobra znajomość Python

⚡️ Znajomość Unity Catalog oraz Hive

⚡️ Doświadczenie w przeprowadzaniu migracji danych

⚡️ Doświadczenie w korzystaniu z Microsoft Azure (np. Data Factory, Synapse, Logic Apps, Data Lake)

⚡️ Doświadczenie w pracy z ustrukturyzowanymi oraz nieustrukturyzowanymi danymi

⚡️ Umiejętności interpersonalne i zespołowe

⚡️ Umiejętność podejmowania inicjatywy i samodzielność

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Mile widziane:

⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)

⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi 

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów