Data Engineer (AI & Streaming)

Poszukujemy osoby na stanowisko Data Engineer do projektu realizowanego w międzynarodowym środowisku technologicznym. Rola łączy obszary Data Engineering, AI/LLM oraz rozwój nowoczesnych pipeline’ów danych wykorzystywanych w środowiskach enterprise-scale.

Zakres obowiązków

• Projektowanie i rozwój pipeline’ów przetwarzania danych

• Transformacja danych do ustandaryzowanych formatów wykorzystywanych przez systemy downstreamowe

• Tworzenie oraz rozwój logiki transformacji SQL

• Rozwój rozwiązań opartych o Kafka, Spark/Flink oraz architekturę event-driven

• Implementacja rozwiązań AI/LLM wspierających procesy engineeringowe

• Integracja workflowów AI z CI/CD

• Rozwój automatyzacji testów i walidacji jakości danych

• Zarządzanie lifecycle’em schematów i compatibility validation

• Współpraca z zespołami platformowymi i architektonicznymi

• Tworzenie dokumentacji technicznej oraz wsparcie release managementu

Wymagania

• Minimum kilkuletnie doświadczenie w obszarze Data Engineering

• Bardzo dobra znajomość Kafka oraz architektury event-driven

• Doświadczenie z Spark lub Flink

• Bardzo dobra znajomość SQL

• Doświadczenie w pracy z Kubernetes

• Znajomość zagadnień związanych z AI/LLM oraz automatyzacją procesów developerskich

• Umiejętność projektowania pipeline’ów danych i pracy z JSON

• Komunikatywna znajomość języka angielskiego

• Mile widziane doświadczenie z Airflow oraz Snowflake