Senior Data Engineer (Python, GCP, BigQuery)

O nas

Data Force Group sp. z o.o. to polska firma IT z ponad 17-letnim doświadczeniem w obszarze analityki danych, sztucznej inteligencji i Big Data. Realizujemy projekty dla klientów z branży finansowej, telekomunikacyjnej i retail.

O projekcie

Dołączysz do długoterminowego projektu dla nowoczesnej instytucji finansowej, gdzie będziesz budować i rozwijać platformę analityczną przetwarzającą terabajty danych dziennie. Twoja praca będzie miała bezpośredni wpływ na decyzje biznesowe wspierające miliony klientów.

Twoje zadania

• Projektowanie i budowa pipeline'ów ETL/ELT przetwarzających dane rzędu setek TB

• Rozwój hurtowni danych w BigQuery i optymalizacja zapytań SQL

• Orkiestracja procesów w Apache Airflow

• Implementacja kontraktów danych, testów jakości (freshness, completeness, accuracy)

• Współpraca z zespołami biznesowymi i IT klienta przy definiowaniu wymagań

• Tworzenie dokumentacji technicznej i utrzymanie istniejących rozwiązań

Wymagania

• Min. 5 lat komercyjnego doświadczenia w programowaniu Python

• Min. 3 lata doświadczenia w inżynierii danych (duże zbiory danych, wiele TB)

• Dobra znajomość Google Cloud Platform (BigQuery, Cloud Functions, Pub/Sub, Cloud Storage)

• Bardzo dobra znajomość SQL i relacyjnych baz danych (projektowanie schematów, optymalizacja)

• Doświadczenie z Apache Airflow lub podobnym orkiestratorem

• Praktyka w budowie procesów ETL/ELT i integracji wielu źródeł danych

• Polski C2, angielski min. B2

Mile widziane

• Doświadczenie w projektach dla sektora finansowego

• Znajomość zagadnień security w obszarze data

• Spark, Kafka, Beam lub Dataflow

• Terraform

• Znajomość baz NoSQL i time-series