Senior Data Engineer (Databricks)

Charakterystyka oferty:

• Miejsce pracy: 100% zdalnie

• Start: ASAP (max 30 dni OW)

• Godziny pracy: Standardowe godziny pracy

• Wynagrodzenie: 150 - 180 zł netto/h + VAT (bez płatnych urlopów)

• Proces rekrutacyjny: Krótka rozmowa telefoniczna z ITFS ➡ Rozmowa techniczna ➡ Rozmowa projektowa ➡ Decyzja

Twoje zadania:

• Projektowanie i rozwój rozwiązań w środowisku Databricks.

• Budowa i optymalizacja pipeline’ów danych z wykorzystaniem PySpark, Python i Spark SQL.

• Tworzenie procesów ETL/ELT oraz rozwiązań opartych o Structured Streaming, Auto Loader i Delta Tables.

• Integracja danych oraz praca z Azure Data Lake Storage.

• Tworzenie i utrzymanie Databricks Jobs, Notebooks oraz integracji REST API.

• Udział w code review, testowaniu i tworzeniu dokumentacji technicznej.

• Wspieranie zespołu poprzez mentoring, dzielenie się wiedzą i współpracę z developerami.

Wymagania:

• Mini. 5 lat doświadczenia w obszarze Data Engineering.

• Doświadczenie przy co najmniej dwóch projektach realizowanych w Databricks jako Data Engineer.

• Bardzo dobra znajomość PySpark, Python oraz Spark SQL

• Znajomość funkcji Databricks: Databricks Asset Bundles,Structured Streaming, Auto Loader, Azure Data Lake Storage, Databricks Jobs , Notebooks, REST API, Delta tables

• Umiejętność efektywnej komunikacji z klientem i interesariuszami.

• J. angielski na poziomie min. B2