Mid/ Senior Data Engineer (with Snowflake)

🌴 Forma pracy: długoterminowo, fulltime, 100% zdalnie 👈

⏰ Start: ASAP 👈

Cześć! 👋

Dla naszego klienta z USA poszukujemy Python & SQL Engineerów. Klient zajmuje się wsparciem firm w transformacjach chmurowych. Przekrój projektów i branż jest szeroki. Prace dotyczą działań w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań. Klientowi zależy na długoterminowej współpracy. Prowadzone projekty są różnej długości, ale dzięki stałemu zapotrzebowaniu specjaliści zatrudnieni u klienta swobodnie przechodzą z zakończonego projektu do nowych tematów. Obecnie poszukiwani są kolejni specjaliści do projektu z wykorzystaniem Snowflake.

Projekt dotyczy branży prawniczej. Klient ma legacy systemy i chcą zmigrować sie do Snowflake. Dodatkowo klient boryka się z jakością danych i procesów w pipelines, dlatego chcialiby zająć się również automatyzacją procesów (np. czyszczenia danych) i dopracowaniem struktury danych. Klient posiada lokalnie mały zespół, który bęzie wspierać projekt.

Dla klienta kluczowe jest obycie w środowiskach chmurowych (Azure i/lub AWS) oraz znajomość Python i SQL. Dodatowo stak technizcny obejmuje Snowflake + dbt + orkiestracja z Astronomer/Airflow. Klient nacisk na jakość danych, testowanie pipeline’ów i optymalizację kosztów chmurowych. Projekt prowadzony dla firmy z USA, ale wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00), więc chętnie dogadamy się jeśli chodzi o godziny pracy.

Codzienne zadania:

📍 Pisanie i optymalizacja zapytań SQL, indeksów oraz procedur (z naciskiem na wydajność)

📍 Pisanie wydajnych (i możliwych do wielokrotnego użytku) skryptów oraz modułów w Pythonie

📍 Budowanie i optymalizacja zaawansowanych pipeline’ów danych w Snowflake - z wykorzystaniem m.in. Snowpipe, Streams, Tasks i Time Travel

📍 Współpraca z programistami i analitykami w celu zapewnienia, że projekty baz danych wspierają potrzeby aplikacji

📍 Wykonywanie migracji danych, tworzenie kopii zapasowych oraz odzyskiwanie danych w razie potrzeby

📍 Zapewnienie bezpieczeństwa, integralności oraz optymalnej wydajności baz danych

📍 Optymalizacja kosztów i wydajności Snowflake – tuning zapytań, zarządzanie virtual warehouse’ami, clustering keys

📍 Projektowanie struktur danych od zera (np. modele wymiarowe, Data Vault)

📍 Tworzenie i integracja API dla płynnej komunikacji pomiędzy usługami

📍 Wykonywanie analiz danych oraz zadań związanych z automatyzacją

📍 Debugowanie, rozwiązywanie problemów oraz optymalizacja kodu pod kątem wydajności i bezpieczeństwa

📍 Wykonywanie zadań typu Data Ops, tj. zrozumienie systemów, diagnozowanie i rozwiązywanie problemów

Wymagania:

⚡️ Około 6 lat doświadczenia jako programista data lub podobne

⚡️ Bardzo dobra znajomość Pythona i jego bibliotek (NumPy, Pandas, Requests itd.)

⚡️ Doświadczenie z bazami danych w chmurze (Snowflake) - około 4 lata (mile widziana certyfikacja np. SnowPro)

⚡️ Biegłość w zaawansowanym SQL (T-SQL, PL/SQL itd.) i mechanizmach Snowflake (Streams, Tasks, Time Travel itd.)

⚡️ Znajomość procesów ETL oraz hurtowni danych

⚡️ Zrozumienie zagadnień związanych z optymalizacją wydajności i strategiami indeksowania

⚡️ Doświadczenie z orkiestracją zadań np. Astronomer, Airflow

⚡️ Praktyczna znajomość jednego z cloudów: AWS lub Azure

⚡️ Zrozumienie struktur danych, algorytmów oraz zarządzania bazami danych

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Mile widziane:

⚡️ Doświadczenie z ML oraz automatyzacją skryptów

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów