Data Engineer (Python / PySpark / Big Data)

Lokalizacja: Warszawa / hybrydowo 1x w tygodniu praca z biura (wysoka elastyczność możliwa po wdrożeniu)

Rodzaj umowy: kontrakt B2B

Stawka: do 170 PLN/h netto + VAT

O nas:

Zespół IT Chapter – Ocena i Monitoring Ryzyka rozwija Produkt „Modele i Systemy Ryzyka”. Pracujemy nad automatyzacją procesów decyzyjnych, wspieraniem procesów oceny ryzyka oraz utrzymaniem zgodności z wymaganiami regulacyjnymi. Naszym celem jest tworzenie stabilnych, skalowalnych i łatwo wdrażalnych rozwiązań do przetwarzania danych.

Opis roli

Poszukujemy osoby technicznej, która będzie odpowiedzialna za analizę i implementację przepływów danych w środowisku big data – z wykorzystaniem języka Python, PySparka oraz systemów przetwarzania rozproszonego.

To rola na styku analizy danych i inżynierii danych. Idealny kandydat to osoba, która rozumie dane, potrafi budować logikę przetwarzania i wdrażać ją w istniejącej infrastrukturze danych – w sposób zautomatyzowany i zgodny z praktykami CI/CD. Rola ta to dołączenie do trwających projektów i przejęcie konkretnych zadań.

Zakres zadań:

• Projektowanie i prototypowanie przepływów danych (np. w SQL, Hive lub innym systemie hurtownianym)

• Implementacja logiki przetwarzania w Pythonie i PySparku

• Praca w środowisku big data (np. platforma oparta o Hadoop, Spark lub inne rozwiązania rozproszone)

• Osadzanie rozwiązań w pipeline’ach CI/CD w GitLabie

• Przygotowywanie danych testowych i przekazanie rozwiązań do wdrożenia produkcyjnego

• Tworzenie dokumentacji logiki i procesów (np. w Confluence)

Wymagania techniczne (kluczowe):

• Bardzo dobra znajomość Pythona – do implementacji logiki przetwarzania danych

• Doświadczenie w pracy z PySpark lub podobnymi frameworkami rozproszonymi

• Praktyczna znajomość SQL – wykorzystywana do analizy i transformacji danych w hurtowniach

• Znajomość środowisk big data – np. Hadoop, Spark, Hive lub podobne technologie (nie musi to być konkretnie Hadoop, ale doświadczenie w środowisku rozproszonym jest wymagane)

• Doświadczenie z GitLab / CI/CD – umiejętność osadzania kodu w pipeline’ach

• Umiejętność samodzielnego analizowania wymagań technicznych i ich przełożenia na rozwiązania danych.

• Znajomość Kubernetes (na poziomie ogólnym)

• Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, Oracle, MS SQL)