Senior Data Engineer

Senior Data Engineer (Databricks & Snowflake)

Lokalizacja: zdalnie
Forma współpracy: kontrakt B2B
Czas trwania: 3 miesiące (z możliwością przedłużenia)
Start: ASAP

O kliencie
Nasz klient to dynamicznie rozwijająca się firma z obszaru data analytics i data-as-a-service, specjalizująca się w przetwarzaniu dużych wolumenów danych rynkowych dla klientów z branży finansowej. Organizacja rozwija nowoczesną platformę danych opartą o Databricks, Snowflake, AWS i Delta Lake.

Projekt 1: Data Migration & Data Sharing (Databricks + Delta Sharing)

• Migracja wielopetabajtowych zbiorów danych z istniejącego środowiska (Parquet / Snowflake) do Databricks na AWS (S3).

• Implementacja i optymalizacja danych w formacie Delta Lake w celu umożliwienia Delta Sharing.

• Weryfikacja i optymalizacja strategii platformy danych oraz roadmapy technologicznej (Databricks, Snowflake, Delta Lake).

Projekt 2: Internal Data Reporting (Power BI + Snowflake)

• Konsolidacja danych biznesowych (HubSpot, system księgowy, Jira) w Snowflake.

• Przygotowanie i modelowanie danych pod centralny dashboard Power BI dla interesariuszy biznesowych (deadline: koniec Q1).

• Projekt skoncentrowany na hands-on data engineering, SQL i integracjach danych.
  

  Zakres obowiązków

  • Aktywny, hands-on udział w migracji wielopetabajtowych danych z Snowflake/Parquet do Databricks na AWS (S3).

  • Projektowanie i wdrażanie struktur danych w Delta Lake pod kątem wydajnego i bezpiecznego udostępniania danych.

  • Współtworzenie architektury Modern Data Warehouse / Data Lakehouse, w tym najlepszych praktyk dotyczących partycjonowania, wydajności i governance.

  • Konsultowanie, walidowanie i – tam gdzie potrzebne – kwestionowanie obecnej roadmapy technologicznej.

  • Ścisła współpraca z zespołem danych w zakresie transferu wiedzy, adopcji best practices oraz usuwania bottlenecków technicznych.

  • Okazjonalne wsparcie projektu raportowego (Snowflake + Power BI) — nie jako główny zakres odpowiedzialności.

  ---

  Wymagania techniczne

  • Bardzo duże, produkcyjne doświadczenie z Databricks na AWS, w tym:

    • Delta Lake

    • Delta Sharing

    • optymalizacja pipeline’ów ETL/ELT

    • orkiestracja i tuning wydajności (AWS + S3)

  • Produkcyjne doświadczenie z Snowflake, w tym migracje danych, modelowanie oraz integracje cross-platformowe.

  • Doświadczenie w pracy z bardzo dużymi wolumenami danych (PB-scale) oraz formatem Parquet i konwersją do Delta Lake.

  • Doświadczenie w projektowaniu architektur umożliwiających szybkie, wydajne i bezpieczne udostępnianie danych.

  • Udział w projektach migracyjnych, optymalizacyjnych oraz budowie skalowalnych pipeline’ów na AWS.

  • Bardzo dobra znajomość SQL oraz Python lub Scala (Scala mile widziana w kontekście Databricks).

Wymagania miękkie i językowe

• Umiejętność współpracy z zespołami technicznymi i biznesowymi.

• Gotowość do udziału w dyskusjach architektonicznych i proponowania alternatywnych rozwiązań.

• Język angielski: minimum B2+ (codzienna komunikacja, dokumentacja, spotkania).