Cloud Data Architect (Databricks + Snowflake)

Data Architect / Cloud Data Architect (Databricks + Snowflake)

• Start: ASAP.

• Czas trwania: 3 miesiące z możliwością przedłużenia.

Tryb pracy: Zdalnie

O kliencie

Nasz klient to dynamicznie rozwijająca się firma z obszaru data analytics i data-as-a-service, specjalizująca się w przetwarzaniu dużych wolumenów danych rynkowych dla klientów z branży finansowej. Organizacja rozwija nowoczesną platformę danych opartą o Databricks, Snowflake, AWS i Delta Lake.Zakres obowiązków

• Liderowanie techniczne w procesie migracji ogromnych zbiorów danych do Databricks na AWS.

• Projektowanie i nadzór nad wdrożeniem formatu Delta Lake wspierającego Delta Sharing.

• Weryfikacja i korygowanie strategii technologicznej oraz roadmapy klienta.

• Projektowanie rurociągów przetwarzania danych i logiki konwersji z Parquet/Snowflake do Delta Lake.

• Wsparcie merytoryczne i mentoring dla wewnętrznego zespołu inżynierów danych.

• Współpraca przy architekturze Modern Data Warehouse oraz Data Lakehouse.

Wymagania techniczne

• Komercyjne doświadczenie z Palantir - Must have

• Ekspercka wiedza z zakresu Databricks.

• Zaawansowane doświadczenie praktyczne w pracy z Snowflake.

• Biegłość we wdrażaniu i optymalizacji formatu Delta Lake na dużą skalę.

• Doświadczenie w projektowaniu i obsłudze procesów danych na AWS (S3).

• Znajomość architektur Parquet oraz Data Lake.

• Bardzo dobra znajomość SQL i optymalizacji zapytań.

• Doświadczenie w realizowaniu projektów migracji danych typu end-to-end (skala petabajtowa).

• Język angielski na poziomie minimum B2+.

Mile widziane

• Doświadczenie w doradztwie technologicznym (consulting).

• Znajomość Power BI w zakresie modelowania danych pod raportowanie.

• Doświadczenie w integracjach z systemami zewnętrznymi (HubSpot, Jira, systemy księgowe).