Data Quality Engineer

Opis projektu

Poszukujemy doświadczonego Data Quality Engineera, którego zadaniem będzie zapewnienie spójności, integralności i wiarygodności danych w hurtowni Snowflake.

Rola koncentruje się na projektowaniu i wdrażaniu procesów kontroli jakości danych - tak, aby dane były zgodne na każdym etapie przetwarzania: od źródła, przez transformacje, aż po warstwę raportową. Kandydat będzie blisko współpracował z Data Engineerami oraz zespołami biznesowymi, monitorując przepływy danych, wychwytując anomalie i proponując usprawnienia.

Zakres obowiązków

• Projektowanie i implementacja procesów monitorowania oraz poprawy jakości danych (reguły DQ, testy porównawcze).

• Tworzenie struktur i przepływów wspierających audyt i kontrolę danych.

• Walidacja zgodności danych – od wejścia, przez transformacje, aż po warstwę wynikową.

• Automatyzacja procesów monitorowania jakości z wykorzystaniem Airflow i Python.

• Współpraca i dzielenie się wiedzą w ramach zespołu scrumowego.

• Praca w języku polskim z lokalnym zespołem oraz w języku angielskim z zespołami międzynarodowymi.

Wymagania

Doświadczenie:

• Praca z hurtowniami danych w chmurze (preferowane Snowflake).

• Realizacja projektów z zakresu Data Quality (walidacja przepływów danych, projektowanie reguł DQ, porównania danych źródłowych i wynikowych).

Bardzo dobra znajomość:

• Snowflake (projektowanie, walidacja, monitorowanie danych).

• SQL (tworzenie zapytań kontrolnych, reguł walidacyjnych).

• Airflow (automatyzacja procesów monitorowania jakości).

• Python (implementacja testów jakości danych, porównań danych).

Dodatkowe kompetencje (min. średni poziom):

• AWS (S3, Batch, Kinesis, Firehose, Lambda).

• GitLab (kontrola wersji, CI/CD dla procesów DQ).

Warunki współpracy

• Start: od zaraz.

• Czas trwania: długoterminowa współpraca.

• Tryb pracy: 100% zdalnie.