Data Engineer (GCP)

We współpracy z naszym partnerem biznesowym szukamy specjalisty na stanowisko Data Engineer z GCP do rozszerzenia zespołu u jednego z klientów.

O nas

SHIMI Poland wspiera globalnych partnerów technologicznych w budowie i rozwoju zespołów inżynierii danych, które tworzą nowoczesne, skalowalne środowiska analityczne w chmurze.

Aktualnie dołączamy do projektu dla międzynarodowego klienta, który stawia na transformację danych w oparciu o Google Cloud Platform (GCP) oraz zaawansowane narzędzia analityczne.

Poszukujemy doświadczonego Data Engineera z praktycznym doświadczeniem w środowisku Google Cloud Platform (GCP).

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, budowę i utrzymanie skalowalnych potoków danych (ETL/ELT), integrację źródeł danych oraz optymalizację procesów analitycznych w architekturze chmurowej.

Projekt realizowany jest dla międzynarodowego klienta o wysokich wymaganiach dotyczących jakości danych, niezawodności systemów oraz efektywności kosztowej infrastruktury.

Stack technologiczny:

• GCP: BigQuery, Cloud Functions, Cloud Storage, IAM

• ETL / Orkiestracja: Airflow @ Kubernetes (K8s), dbt, Airbyte

• Infrastructure as Code: Terraform

• Języki programowania: Python (pandas, requests, datetime), SQL

• Monitoring / Alerting: PagerDuty, Prometheus, Grafana

Zakres obowiązków:

• Projektowanie, implementacja i utrzymanie potoków danych (ETL/ELT) w środowisku GCP.

• Tworzenie i rozwój warstw transformacyjnych danych przy użyciu dbt (Data Build Tool).

• Integracja danych z wielu źródeł przy użyciu Airbyte oraz zapewnienie spójności i integralności danych.

• Utrzymanie i rozwój infrastruktury danych w oparciu o Terraform oraz standardy IaC.

• Programowanie w Pythonie z wykorzystaniem bibliotek analitycznych (pandas) oraz tworzenie funkcji w Cloud Functions.

• Modelowanie danych i optymalizacja zapytań SQL w środowisku BigQuery.

• Wdrażanie procesów monitorowania, alertowania i obsługi incydentów (PagerDuty).

• Współpraca z zespołami Data Science, BI i DevOps przy wdrażaniu nowych źródeł danych i narzędzi analitycznych.

• Dbanie o bezpieczeństwo, jakość i zgodność procesów danych z najlepszymi praktykami DataOps.

Wymagania:

• Minimum 3 lata doświadczenia w pracy jako Data Engineer lub w podobnej roli w środowisku chmurowym.

• Bardzo dobra znajomość Google Cloud Platform (BigQuery, Cloud Functions, Cloud Storage).

• Praktyczne doświadczenie z narzędziami: Airflow, dbt, Airbyte.

• Znajomość Terraform i podejścia Infrastructure as Code.

• Zaawansowana znajomość SQL oraz umiejętność optymalizacji zapytań w dużych zbiorach danych.

• Doświadczenie w programowaniu w Pythonie, ze znajomością bibliotek pandas, logging, datetime.

• Zrozumienie zasad DataOps, CI/CD dla danych oraz zarządzania jakością danych.

• Znajomość języka angielskiego na poziomie B2+ (środowisko międzynarodowe).

Mile widziane:

• Doświadczenie w architekturze event-driven (Pub/Sub, Dataflow, Kafka).

• Wiedza z zakresu optymalizacji kosztów w BigQuery i GCP.

• Znajomość narzędzi testowania danych (pytest, Great Expectations).

• Praktyka w projektach zorientowanych na dane produktowe lub analityczne.

Oferta:

• Stawka: do 175 PLN/h netto + VAT

• Start: ASAP

• Kontrakt: B2B z SHIMI

• Praca: 100% zdalna

• Możliwość rozwoju w kierunku Data Architect / Cloud Data Engineer Lead

• Udział w globalnym projekcie opartym o GCP i nowoczesny ekosystem danych

• Realny wpływ na projektowanie architektury danych i procesów DataOps