Senior Data Engineer

Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju.

Zakres obowiązków

• Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.

• Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.

• Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.

• Tworzenie modeli danych i warstw analitycznych.

• Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.

• Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.

• Zapewnienie jakości, bezpieczeństwa i zgodności danych.

• Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.

• Pełnienie roli technicznego lidera w inicjatywach Data Platform.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering.

• Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.

• Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.

• Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.

• Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.

• Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.

• Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.

• Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.

• Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.

• Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.

Mile widziane

• Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).

• Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.

• Certyfikacje Databricks lub Data Engineering.