Senior Databricks Data Engineer

Dla jednego z naszych Klientów (firma finansowa), poszukujemy specjalisty na stanowisko

Senior Databricks Data Engineer. 

Forma współpracy: kontrakt B2B. 

Stawka: 170-200 PLN/h. 

Tryb pracy: 100% zdalnie. 

Proces rekrutacyjny: 3 etapy (screening + rozmowa wewnętrzna z Klientem + rozmowa w jęz. angielskim z Klientem końcowym).

Projekt międzynarodowy (klient Końcowy z USA) dotyczy środowiska Databricks i może obejmować zarówno nowe wdrożenie, jak i modernizację istniejących rozwiązań.

Twoje obowiązki:

1. Unity Catalog - zarządzanie dostępem, konfiguracja, lineage tracking).
2. projektowanie i optymalizacja pipeline’ów w PySpark i Delta Lake.
3. wdrażanie Spark tuning (AQE, broadcast joins, partition pruning).
4. integracja z narzędziami CI/CD (np. Azure DevOps).
5. projektowanie i wdrażanie skalowalnej architektury danych typu lakehouse, z naciskiem na: przetwarzanie danych w czasie rzeczywistym i wsadowym & automatyzację i standaryzację procesów ETL / ELT. 
6. współpraca z zespołami biznesowymi i technicznymi, przekładanie wymagania na rozwiązania techniczne.
7. prowadzenie dokumentacji technicznej i architektonicznej.
8. wsparcie zespołów w analizie danych i optymalizacji procesów.

Wymagania:

1. minimum 5 lat doświadczenia w pracy z danymi. 
2. bardzo dobra znajomość Azure Databricks.
3. praktyczna znajomość PySpark, Delta Lake i architektury Lakehouse.
4. doświadczenie z konfiguracją i zarządzaniem Unity Catalog.
5. znajomość zagadnień optymalizacji Spark.
6. doświadczenie z procesami ETL / ELT. 
7. doświadczenie w pracy z narzędziami CI/CD (Azure DevOps, Git).
8. samodzielność, wysoki poziom seniority.
9. duże zaangażowanie w projektowanie, nadzór techniczny i implementację.
10. umiejętnośc samodzielnego prowadzenia tematów i współpracy z zespołami technicznymi oraz biznesowymi.

Mile widziane:

Certyfikaty:

1. Microsoft Certified: Azure Data Engineer Associate.
2. Databricks Certified (np. Data Engineer, ML Professional).
3. Znajomość Microsoft Fabric.

Mile widziane:

1. doświadczenie z GCP lub innymi chmurami.
2. znajomość Microsoft Fabric.
3. doświadczenie w projektach międzynarodowych (np. USA).
4. umiejętność prowadzenia rozmów technicznych z klientem.

Jesteś zainteresowany/a? Dołącz do nas!