Data Engineer/Architect

Senior Data Engineer / Data Platform Engineer (z elementami architektury)

Lokalizacja: Zdalnie Forma współpracy: B2B Wynagrodzenie: 180 - 220zł/h

O projekcie

Budujemy centralną platformę danych, która integruje dane z wielu systemów operacyjnych i udostępnia je do analityki, raportowania oraz modeli machine learning. System przetwarza zarówno dane wsadowe, jak i strumieniowe, a jego celem jest zapewnienie jednego, spójnego źródła prawdy dla całej organizacji.

Projekt obejmuje:

• budowę i rozwój hurtowni danych / lakehouse

• tworzenie pipeline’ów ETL/ELT

• projektowanie warstw danych: raw → staging → curated

• wsparcie dla zespołów analitycznych i data science

Twoja rola

Na tym stanowisku będziesz łączyć pracę inżynierską i architektoniczną:

• rozwijać i utrzymywać pipeline’y danych

• projektować strukturę i przepływy danych

• podejmować decyzje technologiczne dotyczące data stacku

• dbać o skalowalność, jakość i wydajność przetwarzania danych

Zakres obowiązków

• Projektowanie i implementacja pipeline’ów ETL/ELT

• Modelowanie danych w hurtowni danych

• Optymalizacja zapytań SQL i procesów przetwarzania

• Współtworzenie architektury platformy danych

• Wdrażanie dobrych praktyk: versioning, testy danych, monitoring

• Współpraca z analitykami, data scientistami i zespołem backend

Wymagania (must-have)

• Bardzo dobra znajomość SQL

• Minimum 4–5 lat doświadczenia jako Data Engineer

• Doświadczenie w pracy z Pythonem (np. Pandas, PySpark)

• Praktyczna znajomość narzędzi orkiestracji (np. Airflow)

• Doświadczenie z hurtowniami danych (BigQuery / Snowflake / Redshift / PostgreSQL)

• Znajomość przetwarzania dużych wolumenów danych (np. Spark)

• Doświadczenie z chmurą: AWS, GCP lub Azure

Mile widziane (nice to have)

• Doświadczenie w projektowaniu architektury danych

• Znajomość koncepcji Data Lake / Lakehouse / Data Mesh

• Przetwarzanie strumieniowe (Kafka, Pub/Sub, Kinesis)

• Narzędzia do transformacji danych, np. dbt

• Docker, Kubernetes i CI/CD

Szukamy osoby, która

• potrafi pisać wydajny i czytelny kod, ale też myśli o systemie jako całości

• interesuje się architekturą danych i chce mieć wpływ na decyzje technologiczne

• potrafi proponować ulepszenia i brać odpowiedzialność za rozwiązania

Oferujemy

• realny wpływ na architekturę platformy danych

• pracę z nowoczesnym stackiem chmurowym

• dużą autonomię technologiczną

• budżet szkoleniowy i czas na rozwój

• stabilny projekt z długoterminową perspektywą