Senior Cloud Data Engineer (GCP)

O projekcie

• Dołącz do zespołu budującego i rozwijającego platformę integracji danych opartą na Google Cloud Platform (GCP).

• Rola łączy inżynierię DevOps, data engineering oraz automatyzację – z silnym naciskiem na budowę i orkiestrację potoków ETL w Apache Airflow, automatyzację wdrożeń, niezawodność platformy oraz śledzenie przepływu danych (data lineage).

• Platforma wykorzystuje Apache Airflow do orkiestracji potoków ETL i umożliwia i niezawodny przepływ danych – od systemów źródłowych, przez platformę, aż do systemów docelowych partnerów.

• Kluczowym obszarem jest rozwój procesów ETL, usprawnianie automatyzacji i pipeline’ów wdrożeniowych oraz wdrażanie data lineage, aby zapewnić przejrzyste, wizualne śledzenie przepływu danych od początku do końca.

• Lokalizacja: Kraków, praca hybrydowa - 2 dni z biura.

Twoje zadania

• Projektowanie, rozwój, testowanie i utrzymanie potoków ETL.

• Budowanie i rozwijanie funkcjonalności platformy.

• Tworzenie skalowalnych pipeline’ów wdrożeniowych dla Apache Airflow.

• Rozwój i optymalizacja transformacji oraz integracji opartych na SQL, w tym praca z GCP BigQuery.

• Wdrażanie mechanizmów data lineage, umożliwiających wizualne śledzenie danych od źródła przez platformę aż do systemów dostawców.

• Automatyzacja istniejących procesów operacyjnych i inżynieryjnych w celu poprawy niezawodności, szybkości i powtarzalności.

• Tworzenie i utrzymanie automatyzacji testów dla platformy, w tym testów regresyjnych i wydajnościowych.

• Rozwiązywanie złożonych problemów w obszarze pipeline’ów, infrastruktury i przepływów danych; analiza przyczyn źródłowych i wdrażanie działań zapobiegawczych.

• Jasna komunikacja z inżynierami, interesariuszami produktowymi oraz zespołami partnerskimi w celu uzgodnienia wymagań i realizacji.

• Współpraca w modelu Agile.

Wymagania

• Minimum 7 lat doświadczenia w inżynierii oprogramowania, DevOps i/lub Cloud.

• Bardzo dobra znajomość i praktyczne doświadczenie z GCP, w tym BigQuery (oraz powiązanymi usługami danych).

• Udokumentowane doświadczenie w budowie pipeline’ów ETL/ELT oraz ich orkiestracji przy użyciu Apache Airflow (projektowanie DAG-ów, harmonogramowanie, monitoring, skalowanie).

• Bardzo dobra znajomość SQL w zakresie transformacji danych, walidacji i optymalizacji wydajności.

• Doświadczenie w projektowaniu architektury oraz budowie skalowalnych i odpornych platform.

• Doświadczenie z CI/CD i automatyzacją wdrożeń, najlepiej dla platform danych i środowisk Airflow.

• Doświadczenie w automatyzacji testów, w tym tworzeniu frameworków/procesów testów regresyjnych i wydajnościowych.

• Solidne rozumienie zagadnień zarządzania danymi (jakość danych, metadane, governance) oraz implementacji data lineage.

• Znajomość narzędzi do wizualizacji danych (np. do analiz operacyjnych, wizualizacji lineage lub raportowania dla interesariuszy).

• Silne umiejętności rozwiązywania problemów oraz doświadczenie w zwiększaniu niezawodności i redukcji pracy manualnej poprzez automatyzację.

• Bardzo dobre umiejętności komunikacyjne (pisemne i ustne) oraz zdolność efektywnej pracy w międzyfunkcyjnych zespołach Agile.

• Znajomość języka angielskiego na poziomie B2/C1.

• Znajomość języka polskiego na poziomie B2.