Senior Data Engineer

Senior Data Engineer – Common Data Layer / Data Hubs / GenAI

Jako Senior Data Engineer będziesz odpowiedzialny/a za projektowanie i budowę skalowalnych Data Hubs wspierających potrzeby analityczne, raportowe, operacyjne oraz zastosowania związane z Generative AI. Twoja rola obejmie definiowanie standardów, wzorców architektonicznych, mentoring inżynierów oraz dbanie o jakość i efektywność rozwiązań danych.

Kluczowe obowiązki:

• Architektura Data Hub, projektowanie i wdrażanie skalowalnych oraz wydajnych architektur integrujących dane z wielu źródeł (strukturalne i niestrukturalne).

• Definiowanie standardów, dobrych praktyk i wzorców, zapewniając spójność implementacji.

• Wsparcie inżynierów, prowadzenie code review i wyznaczanie kierunku technicznego.

• Pipeline’y danych

• Wdrażanie walidacji danych, detekcji anomalii i monitoringu automatycznego.

• Automatyzacja i CI/CD

• Dbanie o zgodność rozwiązań z regulacjami, governance oraz bezpieczeństwo danych.

Wymagane umiejętności i doświadczenie:

• Biegłość w Pythonie i SQL.

• Doświadczenie w pracy z Azure Data Factory, ADLS, Azure SQL, Synapse.

• Dobra znajomość Databricks (narzędzie główne) i Apache Spark.

• Umiejętność projektowania rozwiązań klasy enterprise.

• Doświadczenie w przetwarzaniu danych w czasie rzeczywistym (Azure Stream Analytics, Event Hubs lub podobne).

• Automatyzacja i DevOps: znajomość CI/CD, Terraform, Docker, Kubernetes/AKS.

• Data Governance: doświadczenie w zakresie bezpieczeństwa danych, lineage i zgodności ze standardami.

• Znajomość języka angielskiego na poziomie min. B2 i języka polskiego na poziomie min. C1.

• Dyspozycyjność do podróży służbowych do klienta (maksymalnie 20% czasu pracy)

Technologia:

• Data Platform: Databricks (główne narzędzie), Apache Spark, Delta Lake.

• Chmura i usługi danych: Azure Data Factory, ADLS, Azure SQL, Synapse, Azure DevOps.

• Streaming i real-time: Azure Stream Analytics, Event Hubs.

• Rozwój i automatyzacja:Python, SQL, GitHub, Terraform, Docker, Kubernetes/AKS.

Co oferujemy:

Możliwość kształtowania strategii danych, definiowania standardów inżynierskich oraz prowadzenia złożonych inicjatyw. To rola dla osób, które chcą budować rozwiązania o dużym wpływie i dzielić się wiedzą w zespole.