Data Engineer

Klient to dynamicznie rozwijająca się firma działająca w obszarze analityki danych i Data-as-a-Service. Specjalizuje się w przetwarzaniu dużych wolumenów danych rynkowych i udostępnianiu ich w nowoczesnych, otwartych formatach. Organizacja buduje skalowalne platformy danych i zaawansowane pipeline’y wspierające klientów z sektora finansowego w analizie i podejmowaniu decyzji inwestycyjnych.

Obowiązki:

• Wsparcie w migracji wielopetabajtowych danych z Snowflake/Parquet do Databricks na AWS (S3), z silnym naciskiem na praktyczne wsparcie inżynierskie.

• Projektowanie i implementacja struktur danych w formacie Delta Lake dla efektywnego Delta Sharing i dalszego wykorzystania.

• Współudział w budowie nowoczesnego Data Warehouse i Data Lakehouse (Delta Lake) – w tym najlepsze praktyki dotyczące układu danych, partycjonowania, wydajności i zarządzania.

• Weryfikacja i konsultacje dotyczące obecnej roadmapy technologicznej (Databricks, Snowflake, AWS, Delta Lake).

• Ścisła współpraca z zespołem danych w zakresie:

  • transferu wiedzy,

  • wsparcia wdrożenia najlepszych praktyk,

  • usuwania wąskich gardeł technicznych i przyspieszania realizacji projektów.

• Wsparcie w integracji danych dla wewnętrznych raportów (Projekt 2), np. przygotowanie danych w Snowflake do Power BI – nie jest to główny zakres obowiązków.

Wymagania techniczne

• Bardzo zaawansowane, praktyczne doświadczenie z Databricks na AWS, w tym:

  • praca z formatem Delta Lake,

  • Delta Sharing,

  • optymalizacja ETL/ELT,

  • orkiestracja i tuning wydajności w środowisku chmurowym (AWS + S3).

• Doświadczenie produkcyjne w Snowflake, w tym:

  • migracje danych,

  • modelowanie danych,

  • integracje między platformami (Snowflake, Databricks, inne źródła danych).

• Doświadczenie w pracy z dużymi wolumenami danych (do petabajtów) i transformacjami w formacie Parquet, w tym konwersja do Delta Lake.

• Projektowanie i implementacja architektur danych umożliwiających szybkie, wydajne i bezpieczne udostępnianie danych (szczególnie Delta Lake i Delta Sharing).

• Doświadczenie w projektach migracyjnych, optymalizacji wydajności oraz budowie skalowalnych i niezawodnych pipeline’ów na AWS.

• Umiejętność współpracy z zespołem technicznym i biznesowym – w tym udział w dyskusjach architektonicznych i proponowanie rozwiązań alternatywnych.

• Silne umiejętności SQL oraz Python lub Scala (preferowane przy Databricks na AWS).