Twoja rola i projekt:
PROJEKT ZEWNĘTRZNY
Klient jest globalną firmą ubezpieczeniową oferującą m.in. ubezpieczenia majątkowe i osobowe. Posiada oddziały na całym świecie i ponad 50-letnie doświadczenie w underwritingu oraz zarządzaniu kapitałem i ryzykiem.
Poszukujemy Data Engineer'a z doświadczeniem w środowisku cloudowym z naciskiem na Azure i DataBricks.
Wiodące technologie i narzędzia:
ETL data pipelines w DataBricks, Spark (SQL, PySpark), Azure Services; Azure Data Lake, Azure Blob Storage, Azure Synapse, Databricks Unity Catalog.
Twoje zadania:
- Projektowanie i wdrażanie end-to-end data pipelines w Azure DataBricks, pozyskiwanie danych z różnych źródeł, publikacje danych w Data Azure Lake.
- Tworzenie kodu w Spark SQL i PySpark do transformacji danych.
- Automatyzacja pipeline orchestration z użyciem Databricks Workflows i integracja z zewnętrznymi narzędziami (np. Apache Airflow, Azure Data Factory).
- Wykorzystanie funkcji Databricks, takich jak Delta Lake, do zarządzania i śledzenia zmian w danych.
- Tworzenie skalowalnych procesów pozyskiwania danych w celu obsługi danych z różnych źródeł (API, bazy danych, systemy plików).
- Wdrażanie i utrzymywanie zasad zarządzania danymi przy użyciu Unity Catalog, zapewniając odpowiednią organizację, kontrolę dostępu i zarządzanie metadanymi w zasobach danych.
Aplikuj, jeśli:
- Posiadasz min. 5 letnie doświadczenie jako Data Engineer lub w podobnej roli.
- Swobodnie komunikujesz się w języku angielskim (preferowany poziom C1).
- Masz doświadczenie z data pipelines, projektowaniu i wdrażaniu skalowalnych potoków danych ETL/ELT.
- Masz doświadczenie z Azure Databricks, Spark (SQL, PySpark) i doświadczenie w budowaniu przepływów pracy i automatyzacji przy użyciu Databricks Workflows.
- Posiadasz praktyczne doświadczenie z usługami Azure jak Azure Data Lake, Azure Blob Storage i Azure Synapse.
- Znajomość zarządzania ładem i bezpieczeństwem danych przy użyciu Databricks Unity Catalog.
Czeka na Ciebie:
- Praca zdalna, okazjonalne przyjazdy do biura w Warszawie.
- Budżet rozwojowy 2000,- pln netto / rok.
- Dofinansowanie certyfikatów.
- Doświadczony zespół z dużym know-how.
- Dofinansowanie do Opieki medycznej, Karty sportowej, Ubezpieczenia na życie.
- Wewnętrzne szkolenia techniczne (i nie tylko).
- Płaska struktura, wpływ na działania firmy.
- Innowacyjne programy wyjazdów integracyjnych.
Kontaktujemy się z każdym Kandydatem i zawsze dajemy feedback!
Poznaj nas i dołącz do #DecertoTeam