Senior Data Engineer (Python / Spark / Kafka)

📍 Lokalizacja: praca zdalna💰 Wynagrodzenie: 170 - 200 pln/h📄 Forma zatrudnienia: B2B

Dołączysz do zespołu rozwijającego wysokowydajne systemy przetwarzania danych w czasie rzeczywistym wspierające analitykę, modele uczenia maszynowego oraz systemy scoringowe i rekomendacyjne. Systemy przetwarzają duże wolumeny danych w architekturze streamingowej, z naciskiem na skalowalność, wysoką dostępność oraz niskie opóźnienia. Rola obejmuje projektowanie i rozwój komponentów platformy danych oraz współpracę z zespołami data science, engineering i analityki.

Wymagania:

• Minimum 5 lat doświadczenia w obszarze data engineering / software engineering / analityki danych

• Doświadczenie w pracy w zespołach developerskich

• Doświadczenie w projektowaniu systemów działających w czasie rzeczywistym

• Doświadczenie w projektach związanych z machine learning lub systemami rekomendacyjnymi

• Doświadczenie w systemach high availability / fault tolerant

Technologie:

• Python

• Apache Spark

• Kafka / streaming processing

• Airflow lub Argo Workflows

• NoSQL (Redis, MongoDB, FoundationDB)

• ClickHouse

Dodatkowo mile widziane:

• doświadczenie z Flink / Spark Streaming

• doświadczenie w architekturach big data

• znajomość wzorców architektonicznych

Nice to have:

• Doświadczenie z Microsoft Fabric

• Doświadczenie w migracjach Zendesk / ERP → Dynamic

Zakres obowiązków:

• Projektowanie i rozwój skalowalnych systemów przetwarzania danych

• Budowa i utrzymanie pipeline’ów danych w czasie rzeczywistym

• Rozwój platformy danych wspierającej modele ML i systemy scoringowe

• Optymalizacja systemów pod kątem wydajności, dostępności i skalowalności

• Projektowanie architektury systemów high-throughput / low-latency

• Orkiestracja przepływów danych oraz automatyzacja procesów

• Współpraca z zespołami data science i engineering