Data Architect / Databricks Platform Engineer (Tech Lead)

Data Architect / Databricks Platform Engineer (Tech Lead)

Praca zdalna

Dla naszego klienta z branży finansowej i ubezpieczeniowej poszukujemy doświadczonego Data Architect / Databricks Platform Engineer (Tech Lead), który obejmie techniczne prowadzenie projektu migracji środowiska danych z rozwiązań on-premise (SQL Server) do platformy Databricks.

Zakres obowiązków

• Odpowiedzialność za architekturę docelową oraz techniczne prowadzenie projektu migracji danych do platformy Databricks
• Prowadzenie fazy Discovery obejmującej analizę obecnego środowiska, zależności oraz ryzyk migracyjnych
• Projektowanie i konfiguracja środowiska Databricks Workspace
• Projektowanie i wdrażanie struktury Unity Catalog oraz modelu governance danych
• Definiowanie i implementacja modelu bezpieczeństwa oraz kontroli dostępu do danych
• Planowanie i nadzór nad migracją środowiska danych z SQL Server do Databricks
• Zapewnienie zgodności migracji z zasadą like-for-like pod względem logiki i jakości danych
• Identyfikacja oraz zarządzanie ryzykami technicznymi związanymi z migracją i architekturą platformy
• Wsparcie zespołów Data Engineering w zakresie najlepszych praktyk architektonicznych i engineeringowych
• Podejmowanie kluczowych decyzji technicznych oraz współpraca z interesariuszami po stronie klienta
• Optymalizacja skalowalności, bezpieczeństwa oraz utrzymania platformy danych
• Wsparcie definiowania standardów architektonicznych dla nowoczesnej platformy danych w środowisku cloud

Wymagania

• Minimum 5 lat doświadczenia w pracy z platformą Databricks
• Bardzo dobra znajomość Unity Catalog, Databricks Workflows oraz Delta Lake
• Doświadczenie w migracji środowisk danych z SQL Server do Databricks
• Bardzo dobra znajomość zagadnień Data Engineering oraz modern data platforms
• Doświadczenie w projektowaniu architektury danych w środowiskach cloudowych
• Znajomość zagadnień security, governance oraz access management dla platform danych
• Doświadczenie w prowadzeniu technicznym projektów lub pełnieniu roli Tech Leada / Architekta
• Umiejętność definiowania architektury docelowej oraz nadzorowania jej wdrożenia
• Doświadczenie w pracy z rozwiązaniami analitycznymi oraz platformami lakehouse
• Umiejętność współpracy z zespołami Data, Infrastructure oraz biznesem
• Bardzo dobre umiejętności analityczne oraz problem solving
• Samodzielność, ownership oraz umiejętność podejmowania decyzji technicznych
• Język angielski minimum B2+
• Doświadczenie minimum 5 lat