Senior Data Engineer z AWS i Snowflake

Poszukujemy Data Engineer'a z doświadczeniem w Snowflake, AWS i procesach ETL, który będzie ściśle współpracował z naukowcami AI i analitykami danych w celu projektowania, rozwijania i utrzymywania potoków danych i systemów, które wspierają przypadki użycia danych klinicznych i operacyjnych.

Twoje zadania

• Projektowanie i rozwijanie architektury danych z uwzględnieniem Snowflake, Immuta, Collibra i bezpieczeństwa w chmurze

• Wdrażanie i optymalizacja procesów ETL/ELT, zarządzanie surowymi danymi, automatyzacja przepływów pracy oraz zapewnianie wysokiej wydajności i niezawodności systemów przetwarzania danych.

• Zarządzanie jakością i bezpieczeństwem danych, monitorowanie jakości i wdrażanie strategii zarządzania metadanymi

• Współpraca z zespołami analitycznymi i biznesowymi w celu identyfikacji potrzeb użytkowników i dostarczania kompleksowych rozwiązań wspierających analitykę i raportowanie

• Optymalizacja i migracja systemów danych poprzez konwersję danych i procesów z istniejących systemów do Data Vault

• Definiowanie i egzekwowanie standardów kodowania, modelowania danych i architektury ETL/ELT, zapewnianie zgodności z Data Mesh i innymi nowoczesnymi podejściami

• Trenowanie i mentorowanie zespołu inżynierów danych, przeprowadzanie przeglądów kodu, uczestniczenie w dyskusjach architektonicznych i inicjowanie innowacyjnych rozwiązań technologicznych

Wymagania

• Duże doświadczenie w technologiach chmurowych i ekosystemie Snowflake, w szczególności AWS, Data One Platform, Immuta, Collibra i aspektach bezpieczeństwa chmury.

• Minimum 5 lat doświadczenia w programowaniu w języku Python do budowania i utrzymywania pipeline'ów danych

• Zaawansowana znajomość baz danych, w tym optymalizacji zapytań, projektowania schematów relacyjnych i MPP przy użyciu SQL

• Znajomość technologii przechowywania danych, w tym plików, relacyjnych baz danych, MPP, NoSQL i różnych typów danych (ustrukturyzowanych, nieustrukturyzowanych, metryk, dzienników)

• Dogłębna znajomość Data Vault, Data Mesh, modelowania wymiarowego i zarządzania metadanymi

• Zrozumienie procesów biznesowych i analitycznych, a także integracja z systemami analitycznymi i raportującymi

• Doświadczenie w pracy w środowiskach Agile, coaching zespołów programistycznych z biegłą znajomością języka angielskiego i polskiego

• Wymagane miejsce zamieszkania w Polsce

Mile widziane

• Znajomość formatów danych farmaceutycznych jest dużym plusem