Databricks Architect

🌴 Forma pracy: part-time (2 x 0,5 FTE) lub full-time (1 x 1 FTE), 100% zdalnie👈

⏰ Start: ASAP (8-15 Grudnia) 👈

Cześć! 👋

Dla naszego klienta z USA poszukujemy Senior Data Architecta z głębokim doświadczeniem w Databricks. Klient posiada stałe zapotrzebowanie na specjalistów, a obecnie poszukujemy osoby (lub dwóch osób) do objęcia zadań architektonicznych i nadzorczych w ramach dwóch różnych projektów, startujących początkiem/połową grudnia.Klient jest otwarty na zatrudnienie jednej osoby na pełny etat (łącząc projekty) lub dwóch osób na pół etatu (2 x 20 godzin tygodniowo). Projekty są ze sporym prawdopodobieństwem na przedłużenie, a ze względu na stałość zapotrzebowania, klient jest w stanie zaproponować nowy temat po zakończeniu danego projektu.

Obecnie poszukiwany Architekt do 2 projektów:

1. Platforma JDE/Smartsheet (Start 8 Grudnia): Projekt polega na przeniesieniu całego raportowania opartego na plikach JDE oraz Smartsheet do nowoczesnego Lakehouse w Databricks. Celem jest osiągnięcie jednego źródła prawdy, poprawa jakości danych i eliminacja ręcznych kroków. W tym projekcie będziesz odpowiadać za projekt i wdrożenie bezpiecznej, wielowarstwowej infrastruktury Databricks jako kodu (Terraform IaC) oraz architektury dostępu (Unity Catalog, SailPoint), wspierając migrację krytycznych danych finansowych (JMF)

2. Migracja Synapse -> Databricks (Start 15 Grudnia): Projekt polega na strategicznej migracji całej korporacyjnej platformy danych z Azure Synapse Analytics do Azure Databricks Lakehouse. Celem jest modernizacja architektury, poprawa wydajności, umożliwienie innowacji AI/ML oraz ustanowienie ujednoliconego governance. Zakres architektoniczny obejmuje definiowanie metadata-driven framework, nadzór nad migracją 253 tabel do architektury Medallion, wdrożenie Unity Catalog oraz Private Link dla bezpieczeństwa sieci.

Dla klienta kluczowe jest obycie w środowisku Azure/ AWS oraz ekspercka znajomość DataBricks i Apache Spark. Projekty prowadzone są przede wszystkim dla firm z USA – w większości przypadków wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00), natomiast jesteśmy otwarci na kandydatów preferujących pracę w innych godzinach.

Ogólny zakres obowiązków na projektach:

📍 Architektura i Implementacja Platformy: Projektowanie, wdrażanie i utrzymanie skalowalnych rozwiązań Data Lakehouse z wykorzystaniem Databricks, Delta Lake oraz standardów Medallion Architecture (Bronze/Silver/Gold).

📍 Governance i Security: Wdrażanie mechanizmów zarządzania danymi (data governance) i bezpieczeństwa, w tym konfiguracja Unity Catalog, zarządzanie dostępem (RBAC) oraz implementacja IaC (Terraform) dla automatyzacji infrastruktury i audytowalności.

📍 Wyzwania Migracyjne i Transformacyjne: Aktywny udział w projektach migracyjnych platformy (Synapse ->Databricks, JDE ->Databricks) oraz refaktoring złożonej, starszej logiki biznesowej (SSIS, Boomi) do nowoczesnych rozwiązań Spark/Python.

📍 Budowa Potoków Danych: Nadzór nad tworzeniem i optymalizacją zaawansowanych potoków ETL/ELT przy użyciu PySpark i Delta Live Tables (DLT), włączając w to mechanizmy przetwarzania danych wsadowych oraz strumieniowych/w czasie zbliżonym do rzeczywistego.

📍 Optymalizacja i SLA: Definiowanie strategii monitorowania, dostrajanie wydajności oraz automatyzacja procesów data engineering, aby spełniać krytyczne SLA (np. 4-godzinne okno odświeżania danych).

Wymagania:

⚡️ Eksperckie doświadczenie (8+ lat) w pracy w roli Data Architekta oraz Data Engineera lub pokrewnych rolach, szczególnie w projektach transformacyjnych i migracyjnych

⚡️ Ekspercka znajomość platformy Databricks (architektura, multi-workspace, klastry, security) oraz Apache Spark (PySpark, optymalizacja zapytań)

⚡️ Praktyczne doświadczenie z Delta Lake i znajomość koncepcji zarządzania danymi, w tym wdrożenia Unity Catalog oraz kontroli dostępu

⚡️ Wieloletnie doświadczenie z Infrastrukturą jako Kodu (IaC) przy użyciu Terraform w kontekście zarządzania infrastrukturą chmurową i Databricks (audytowalność, powtarzalność)

⚡️ Biegła znajomość środowisk chmurowych, a w szczególności Microsoft Azure (ADLS, networking)

⚡️ Bardzo dobra znajomość Python i jego zastosowań w Data Engineering

⚡️ Umiejętność podejmowania inicjatywy, samodzielność i liderowanie technicznym decyzjom⚡️ Angielski na poziomie C1 (płynna komunikacja) umożliwiający swobodną komunikację w zespole.

Mile widziane:

⚡️ Praktyczne doświadczenie z Delta Live Tables

⚡️ Znajomość lub doświadczenie w pracy z hurtowniami danych/narzędziami migracyjnymi takimi jak Azure Synapse, Yellowbrick, SSIS, Boomi lub podobnymi systemami legacy

⚡️ Doświadczenie w integracji systemów Identity Provisioning (np. SailPoint) z Databricks

⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą DBT

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji, jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia.

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi.

🎯 Pracujemy w imię zasady 'remote first', więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum.

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów.