Senior Data Engineer (Databricks and Snowflake)

Lumicode Sp. z o.o. należy do Grupy Pentacomp, która jest producentem rozwiązań informatycznych i dostawcą profesjonalnych usług IT dla dużych przedsiębiorstw i sektora publicznego.

Jako Pentacomp tworzymy rozwiązania IT łączące innowacyjność z latami doświadczeń - a ich mamy całkiem sporo. Istniejemy na rynku prawie 30 lat i możemy pochwalić się wieloma zrealizowanymi projektami.

Szukamy doświadczonego Senior Data Engineera do wsparcia dynamicznie rosnącej firmy z sektora Data as a Service.

Zakres obowiązków:

• Realizacja migracji danych z Snowflake/Parquet do Databricks (AWS/S3).

• Projektowanie struktur Delta Lake pod kątem wydajności i Delta Sharing.

• Optymalizacja rurociągów ETL/ELT oraz architektury Lakehouse.

• Konsultacje technologiczne i walidacja roadmapy (Databricks, Snowflake, AWS).

• Wsparcie integracji danych pod raportowanie wewnętrzne w Power BI.

Wymagania:

• Bardzo zaawansowana znajomość Databricks na AWS: (Delta Lake, Delta Sharing, optymalizacja kosztów i wydajności na S3).

• Doświadczenie produkcyjne z Snowflake: migracje, modelowanie danych i integracje międzyplatformowe.

• Praca z dużą skalą: Doświadczenie w przetwarzaniu danych liczonych w petabajtach.

• Stack technologiczny: SQL (ekspercko), Python lub Scala.

• Architektura: Umiejętność budowania skalowalnych pipeline’ów i rozwiązań typu Modern Data Warehouse.

• Język angielski: minimum 80% sprawności komunikacyjnej (B2+), praca w środowisku międzynarodowym.