Cloud Data Architect (Databricks + Snowflake)

Data Architect / Cloud Data Architect (Databricks + Snowflake)

• Start: ASAP.

• Czas trwania: 3 miesiące z możliwością przedłużenia.

• Tryb pracy: Zdalnie
  

  O kliencie
  Nasz klient to dynamicznie rozwijająca się firma z obszaru data analytics i data-as-a-service, specjalizująca się w przetwarzaniu dużych wolumenów danych rynkowych dla klientów z branży finansowej. Organizacja rozwija nowoczesną platformę danych opartą o Databricks, Snowflake, AWS i Delta Lake.
  
  Zakres obowiązków

  • Liderowanie techniczne w procesie migracji ogromnych zbiorów danych do Databricks na AWS.

  • Projektowanie i nadzór nad wdrożeniem formatu Delta Lake wspierającego Delta Sharing.

  • Weryfikacja i korygowanie strategii technologicznej oraz roadmapy klienta.

  • Projektowanie rurociągów przetwarzania danych i logiki konwersji z Parquet/Snowflake do Delta Lake.

  • Wsparcie merytoryczne i mentoring dla wewnętrznego zespołu inżynierów danych.

  • Współpraca przy architekturze Modern Data Warehouse oraz Data Lakehouse.
    
    

  Wymagania techniczne
  

  • Ekspercka wiedza z zakresu Databricks.

  • Zaawansowane doświadczenie praktyczne w pracy z Snowflake.

  • Biegłość we wdrażaniu i optymalizacji formatu Delta Lake na dużą skalę.

  • Doświadczenie w projektowaniu i obsłudze procesów danych na AWS (S3).

  • Znajomość architektur Parquet oraz Data Lake.

  • Bardzo dobra znajomość SQL i optymalizacji zapytań.

  • Doświadczenie w realizowaniu projektów migracji danych typu end-to-end (skala petabajtowa).

  • Język angielski na poziomie minimum B2+.

   

  Mile widziane

  • Doświadczenie w doradztwie technologicznym (consulting).

  • Znajomość Power BI w zakresie modelowania danych pod raportowanie.

  • Doświadczenie w integracjach z systemami zewnętrznymi (HubSpot, Jira, systemy księgowe).