DataOps/Analytics Engineer

DataOps / Analytics Engineer

Opis roli:Poszukujemy doświadczonej osoby na stanowisko DataOps / Analytics Engineer, która weźmie odpowiedzialność za standaryzację i utrzymanie payloadów zdarzeń w środowisku Snowflake. Głównym celem tej roli jest zapewnienie wysokiej odporności rurociągów danych (Snowpipe, Openflow) oraz budowa stabilnej warstwy zdarzeń (event layer). Będziesz projektować rozwiązania pozwalające na wyodrębnianie wiarygodnych zdarzeń typu „state change” z mutowalnych tabel operacyjnych, wykorzystując techniki snapshottingu oraz wzorce przyrostowe (incremental change patterns).

Zadania:

• Standaryzacja i utrzymanie payloadów zdarzeń w Snowflake.

• Zapewnienie niezawodności i odporności rurociągów danych opartych na Snowpipe oraz Openflow.

• Budowa i nadzór (governance) nad warstwą zdarzeń w hurtowni danych.

• Wdrażanie mechanizmów snapshottingu i wzorców przyrostowych w celu monitorowania zmian statusów w czasie.

• Tworzenie przejrzystej dokumentacji technicznej procesów i struktur danych.

• Implementacja systemów monitoringu i kontroli w celu zapobiegania błędom typu breaking changes, niepoprawnym payloadom oraz ukrytym problemom z jakością danych (silent data quality issues).

Wymagania

• Bardzo dobra, praktyczna znajomość Snowflake (warunek konieczny).

• Doświadczenie w pracy z potokami danych Snowpipe.

• Płynna znajomość języka angielskiego w mowie i piśmie, pozwalająca na swobodną komunikację techniczną.

• Umiejętność pracy z wzorcami przyrostowymi i technikami snapshottingu danych.

• Doświadczenie w monitorowaniu jakości danych i wdrażaniu testów automatycznych w pipeline'ach.

Mile widziane

• Doświadczenie w pracy z narzędziami Openflow lub Apache NiFi.

• Znajomość dobrych praktyk z obszaru DataOps i inżynierii analitycznej.