Data Engineer

Dołącz do Intrum jako Data Engineer.

Jeśli chcesz pracować w środowisku, w którym dane naprawdę mają znaczenie, a Twoja praca realnie wpływa na strategiczne decyzje – mam dla Ciebie świetną wiadomość. W Intrum poszukujemy Data Engineera, który wzmocni nasz zespół i pomoże rozwijać rozwiązania oparte na danych na nowy poziom. Inżynier Danych, będzie uczestnił w tworzeniu nowoczesnej platformy analitycznej opartej na istniejącej infrastrukturze Microsoft Azure. Celem projektu jest zapewnienie kompleksowego środowiska do raportowania oraz wdrażania rozwiązań Machine Learning.

Główne zadania to:

• Implementacja procesów zasilania oraz transformacji danych (przepływ ETL/ELT) w środowisku chmurowym.

• Tworzenie i utrzymywanie orkiestracji oraz mechanizmów anonimizacji danych.

• Tworzenie reguł walidacji danych oraz testowanie wytworzonych przepływów.

• Współpraca z zespołem migracji danych, analitykami, architektem rozwiązania oraz testerami.

• Komunikowanie postępów prac, identyfikacja ryzyk oraz proponowanie rozwiązań optymalizacyjnych.

• Optymalizacja zapytań i procesów pod kątem wydajności oraz kosztów w środowisku chmurowym.

Nasze wymagania:

Minimum 3 lata doświadczenia w tworzeniu procesów zasilania i transformacji danych (pipelines) w środowisku chmurowym.

Praktyczne doświadczenie z technologiami:

Azure Stack (ADLS, Azure Blob Storage)

Databricks, Delta Lakehouse, DBT, GIT

Znajomość narzędzi orkiestracji: Apache Airflow lub podobne rozwiązania.

Umiejętność pracy z PySpark.

Bardzo dobra znajomość procesów ETL/ELT.

Zaawansowana znajomość SQL, w szczególności w zakresie optymalizacji zapytań i wydajności.

Znajomość języka angielskiego na poziomie min. B2 (współpraca z zespołem międzynarodowym).