Senior Data Engineer

🌴 Forma pracy: długoterminowo, fulltime, 100% zdalnie 👈

⏰ Start: ASAP 👈

Cześć! 👋

Dla naszego klienta poszukujemy Senior Data Engineera z doświadczeniem w pracy z Databricks, Python/ PySpark oraz Snowdlake. Projekt dla giganta prawniczego z US  - klient będzie modernizował i migrował systemy i dany z platform z Snowflake do Databricks. Od ekstrakcji z systemów źródłowych, przez transformacje i walidację jakości, po ładowanie danych do nowych środowisk chmurowych.

Szukamy osoby z zacięciem konsultingowym (dobrze czuje się w pracy bezpośrednio z klientem), która potrafi samodzielnie działać w ramach projektu klienta oraz dobrze odnajduje się w środowisku złożonych projektów i zmieniających się wymagań. Rola przewiduje pełną odpowiedzialność za ścieżkę migracji Snowflake (nie jest to rola współwykonawcza w zespole). Idealnego kandydata cechuje głęboka wiedza techniczna w obszarach: Apache Iceberg, Unity Catalog governance oraz nowoczesne funkcje Databricks (Workflows, Serverless, Lakehouse Monitoring). 

Ze względu na lokalizację klienta wymagana jest dzienna zakładka z zespołem w USA (do godziny 18:00). W pierwszych tygodniach (onboarding) możliwa będzie większa dostępność w godzinach popołudniowych. 

Zakres zadań:

📍 Architektura i projektowanie

-  Inwentaryzacja hurtowni danych Snowflake i mapowanie zależności

-  Projekt architektury migracji z wykorzystaniem Apache Iceberg dla interoperacyjności międzyplatformowej

-  Opracowanie frameworka zarządzania danymi w Unity Catalog (role-based access, zabezpieczenia na poziomie wiersza)

-  Strategia synchronizacji danych historycznych (pełnej i przyrostowej)

📍 Realizacja migracji

- Eksport danych ze Snowflake (UNLOAD) → ingest do Databricks (Auto Loader, Workflows)

-  Implementacja tabel Iceberg dla zgodności odczytu/zapisu między Snowflake i Databricks

-  Budowa architektury Medallion (Bronze/Silver/Gold) z użyciem Delta Lake / Iceberg-  Wdrożenie zabezpieczeń na poziomie wiersza w Unity Catalog

-  Projekt wzorców CDC (Change Data Capture) dla przepływu Snowflake → Databricks

📍 Optymalizacja i handoff

-  Optymalizacja kosztów (Photon, Serverless SQL, podział obciążeń według poziomów)

-  Tworzenie dashboardów monitorujących (jakość danych, kondycja pipeline’ów, koszty)

-  Implementacja frameworka testowania jakości danych DataPact

-  Wsparcie przy przełączeniu środowiska produkcyjnego i przygotowanie dokumentacji

Wymagania:

⚡️ ~5 lat praktycznego doświadczenia w pracy jako inżynier platformy Databricks

⚡️ Doświadczenie w przeprowadzaniu migracji Snowflake -> Databricks

⚡️ Praktyczna znajomość Apache Iceberg i integracji między różnymi platformami danych

⚡️ Wiedza w zakresie zarządzania dostępem i bezpieczeństwa w Unity Catalog (row-level security, access control)

⚡️ Doświadczenie z platformą Azure

⚡️ Dobra znajomość Python / PySpark i DataFrames / Delta Tables

⚡️ Umiejętność samodzielnego prowadzenia projektów w napiętych terminach

⚡️ Obycie biznesowe: umiejętność pracy z klientem, zarządzania interesariuszami, formułowania celów biznesowych

⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole (B2/C1)

Mile widziane:

⚡️ Certyfikacja Databricks Professional

⚡️ Wiedza z zakresu FinOps (optymalizacja kosztów, monitorowanie DBU)/ doświadczenie w branży finansowej

⚡️ Znajomość Infrastructure-as-Code (Terraform, DABs)

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów