Data Engineer (Azure Cloud)

Everything is possible with the right people

In4ge jest firmą rekrutacyjną, w której wierzymy, że wszystko jest możliwe dzięki odpowiednim ludziom. Naszym celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje, które przyczyniają się do wzrostu i sukcesu każdej ze stron. Uważamy, że prawdziwą wartość stanowią ludzie pracujący wspólnie w atmosferze wzajemnego szacunku i zaufania.

Rola obejmuje projektowanie, rozwój i utrzymanie rozwiązań przetwarzania danych, głównie w środowisku Azure Cloud. Rolę obejmuje praca z dużymi zbiorami danych, automatyzacja procesów, integracja systemów oraz wsparcie analiz biznesowych.

Zakres odpowiedzialności:​

• Projektowanie, rozwój i utrzymanie potoków danych w środowisku Azure Cloud (ADF, Databricks).

• Przetwarzanie, transformacja i integracja danych z różnych źródeł w celu wsparcia analiz biznesowych i modeli AI/ML.

• Tworzenie i optymalizacja zapytań SQL oraz baz danych w MS SQL.

• Automatyzacja procesów przetwarzania danych i wdrażanie najlepszych praktyk DevOps/CI/CD.

• Wsparcie zespołów analitycznych i AI/ML w dostępie do danych i przygotowaniu zestawów danych treningowych.

• Monitorowanie jakości danych, wykrywanie błędów i proponowanie usprawnień w procesach ETL.

• Dokumentowanie rozwiązań, procesów oraz architektury danych zgodnie z obowiązującymi standardami.

• Wdrażanie i utrzymanie dashboardów Power BI oraz raportów wspierających decyzje biznesowe.

• Współpraca z zespołami AI/ML w zakresie integracji modeli z systemami produkcyjnymi i monitorowania wydajności modeli.

Wymagania:

• Minimum 5 lat doświadczenia w pracy z przetwarzaniem danych, najlepiej w środowisku chmurowym Azure.

• Doświadczenie w pracy z Azure Data Factory (ADF) i Databricks.

• Bardzo dobra znajomość SQL oraz MS SQL, w tym optymalizacja zapytań i projektowanie baz danych.

• Praktyczna znajomość Pythona w kontekście przetwarzania danych i automatyzacji procesów.

• Doświadczenie w tworzeniu dashboardów i raportów w Power BI.

• Znajomość procesów DevOps i praktyk CI/CD w kontekście projektów data-driven.

• Umiejętność pracy z dużymi zbiorami danych i optymalizacji przepływu danych.

• Dbałość o jakość danych, monitorowanie procesów ETL i rozwiązywanie problemów z integracją danych.

Mile widziane:

• Doświadczenie w tworzeniu backendu w Python.

• Wiedza lub doświadczenie w obszarze Open AI, AI Search oraz RAG (Retrieval-Augmented Generation).

• Zainteresowanie lub doświadczenie w Agentic AI.

• Znajomość konteneryzacji (Docker/Kubernetes) i integracji API dla procesów AI/ML.

• Umiejętność współpracy z zespołami AI/ML w zakresie wdrożeń modeli produkcyjnych i monitorowania wydajności.

Oferujemy:

• Projekty realizowane w międzynarodowym środowisku. 

• Wpływ na wytwarzanie produktu. 

• Przyjazną kulturę pracy i doświadczony zespół inżynierów.

• Współpracę w ramach modelu B2B na przejrzystych warunkach.

• Zdalny model projektu.