Data Engineer

Twoja rola i projekt:

PROJEKT ZEWNĘTRZNY

Klient jest globalną firmą ubezpieczeniową oferującą m.in. ubezpieczenia majątkowe i osobowe. Posiada oddziały na całym świecie i ponad 50-letnie doświadczenie w underwritingu oraz zarządzaniu kapitałem i ryzykiem.

Poszukujemy Data Engineer'a z doświadczeniem w środowisku cloudowym z naciskiem na Azure i DataBricks.

Wiodące technologie i narzędzia: 

ETL data pipelines w DataBricks, Spark (SQL, PySpark), Azure Services; Azure Data Lake, Azure Blob Storage, Azure Synapse, Databricks Unity Catalog.

Twoje zadania:

• Projektowanie i wdrażanie end-to-end data pipelines w Azure DataBricks, pozyskiwanie danych z różnych źródeł, publikacje danych w Data Azure Lake.
• Tworzenie kodu w Spark SQL i PySpark do transformacji danych.
• Automatyzacja pipeline orchestration z użyciem Databricks Workflows i integracja z zewnętrznymi narzędziami (np. Apache Airflow, Azure Data Factory).
• Wykorzystanie funkcji Databricks, takich jak Delta Lake, do zarządzania i śledzenia zmian w danych.
•  Tworzenie skalowalnych procesów pozyskiwania danych w celu obsługi danych z różnych źródeł (API, bazy danych, systemy plików).
• Wdrażanie i utrzymywanie zasad zarządzania danymi przy użyciu Unity Catalog, zapewniając odpowiednią organizację, kontrolę dostępu i zarządzanie metadanymi w zasobach danych.

Aplikuj, jeśli:

• Posiadasz min. 5 letnie doświadczenie jako Data Engineer lub w podobnej roli.
• Swobodnie komunikujesz się w języku angielskim (preferowany poziom C1).
• Masz doświadczenie z data pipelines, projektowaniu i wdrażaniu skalowalnych potoków danych ETL/ELT. 
• Masz doświadczenie z Azure Databricks, Spark (SQL, PySpark) i doświadczenie w budowaniu przepływów pracy i automatyzacji przy użyciu Databricks Workflows.
• Posiadasz praktyczne doświadczenie z usługami Azure jak Azure Data Lake, Azure Blob Storage i Azure Synapse.
• Znajomość zarządzania ładem i bezpieczeństwem danych przy użyciu Databricks Unity Catalog.

Czeka na Ciebie:

• Praca zdalna, okazjonalne przyjazdy do biura w Warszawie.
• Budżet rozwojowy 2000,- pln netto / rok.
• Dofinansowanie certyfikatów.
• Doświadczony zespół z dużym know-how.
• Dofinansowanie do Opieki medycznej, Karty sportowej, Ubezpieczenia na życie.
• Wewnętrzne szkolenia techniczne (i nie tylko).
• Płaska struktura, wpływ na działania firmy.
• Innowacyjne programy wyjazdów integracyjnych.

Kontaktujemy się z każdym Kandydatem i zawsze dajemy feedback!

Poznaj nas i dołącz do #DecertoTeam