Data Engineer (Airflow/Astronomer, dbt, Snowflake)

🌴 Forma pracy: długoterminowo, fulltime, 100% zdalnie 👈

⏰ Start: ASAP 👈

Cześć! 👋

Dla naszego klienta z USA poszukujemy Data Engineera z doświadczeniem z Airflow, dbt i Snowflake. Klient zajmuje się wsparciem firm w transformacjach chmurowych. Przekrój projektów i branż jest szeroki. Prace dotyczą działań w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań. Klientowi zależy na długoterminowej współpracy Obecnie poszukiwani są kolejni specjaliści do projektu z wykorzystaniem Snowflake.

Projekt dotyczy branży prawniczej. Klient ma legacy systemy, które migrują do Snowflake. Dodatkowo klient boryka się z jakością danych i procesów w pipelines, dlatego chcialiby zająć się również automatyzacją procesów (np. czyszczenia danych) i dopracowaniem struktury danych. Przy projekcie działa mały zespół po stronie klienta + 2 osoby z ramienia Crodu.

Praca w modelu z podziałem onshore-offshore. Dla klienta kluczowe jest bardzo dobra znajomość Airflow (Astronomer), Snowflake, dbt(w tym materializacji i modeli przyrostowych) oraz biegłość w SQL. Głównym zadaniem będzie tworzenie i utrzymywanie pipeline’ów danych tak, aby dane były dobrze przetwarzane i uporządkowane (bronze/ silver/ gold). Klient nacisk na jakość danych, testowanie pipeline’ów i optymalizację kosztów chmurowych. Dodatkowo od kandydatów oczekiwana jest znajomość Python na poziomie umożliwiającym tworzneie prostych zadań ETL.

Projekt prowadzony dla firmy z USA - zakładamy, że kilka dni w tygodniu bęzie wyamagna dyspozycyjność w godzinach wieczornych (do godziny 20:00).

Codzienne zadania:

📍 Tworzenie i utrzymywanie workflowów i implementacja DAGs przy wykorzystaniu Airflow (Astronomer) na podstawie designów dostarczonych przez onshore architekta

📍 Budowanie modeli danych w dbt w podejściu bronze/silver/gold

📍 Optymalizacja pracy Snowflake (wydajność, koszty)

📍 Rozwiązywanie problemów w pipeline’ach oraz debugowanie problemów we współpracy z architektem (onshore - po stronie klienta)

📍 Utrzymywanie dokumentacji dla wszystkich DAGs, dbt models i warehouse objects

Wymagania:

⚡️ Minimum 3-4 lata doświadczenia w obszarach Data Engineering

⚡️ Doświadczenie w pracy z Airflow (Astronomer) - tworzenie i obsługa DAG-ów

⚡️ Biegłość w Snowflake (projektowanie schematów, korzystanie z warehouse’ów, optymalizacja zapytań)

⚡️ Bardzo dobra znajomość dbt (budowanie modeli danych, testowanie, dokumentacja)

⚡️ Bardzo dobra znajomość SQL (transformations)

⚡️ Znajomość Python na poziomie umożliwiającym tworzneie prostych zadań ETL.

⚡️ Zrozumienie modelu bronze/ silver/ gold

⚡️ Znajomość Git/GitHub i CI/CD

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Mile widziane:

⚡️ Certyfikacja dbt/ SnowPro/ Astronomer

⚡️ Znajomość narzędzi do monitoringu/observability (np. Datadog, Monte Carlo)

⚡️ Doświadczenie z innymi platformami typu data warehouse

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów