Senior Cloud Data Engineer (GCP)

O projekcie

• Dołącz do zespołu budującego i rozwijającego platformę integracji danych opartą na Google Cloud Platform (GCP).

• Rola łączy inżynierię DevOps, data engineering oraz automatyzację – z silnym naciskiem na budowę i orkiestrację potoków ETL w Apache Airflow, automatyzację wdrożeń, niezawodność platformy oraz śledzenie przepływu danych (data lineage).

• Platforma wykorzystuje Apache Airflow do orkiestracji potoków ETL i umożliwia i niezawodny przepływ danych – od systemów źródłowych, przez platformę, aż do systemów docelowych partnerów.

• Kluczowym obszarem jest rozwój procesów ETL, usprawnianie automatyzacji i pipeline’ów wdrożeniowych oraz wdrażanie data lineage, aby zapewnić przejrzyste, wizualne śledzenie przepływu danych od początku do końca.

• Lokalizacja: Kraków, praca hybrydowa - 2 dni z biura.

Twoje zadania

• Rozwój i utrzymanie pipeline’ów (ETL / integracje danych)

• Rozwój platformy i jej komponentów

• Budowa i utrzymanie CI/CD oraz automatyzacji

• Praca z workflowami w Apache Airflow

• Optymalizacja procesów i zwiększanie niezawodności

• Automatyzacja operacji i redukcja pracy manualnej

• Rozwiązywanie problemów na styku: dane / infrastruktura / pipeline’y

• Współpraca z zespołem i interesariuszami

Wymagania

• Szukamy inżynierów z doświadczeniem min. 6+ lat, którzy mają solidne podstawy w jednym z obszarów i chcą rozwijać się dalej.

  Must-have (core):

  • doświadczenie w:

    • DevOps / Platform Engineering / Cloud lub Data Engineering

  • dobra znajomość GCP lub innej chmury

  • doświadczenie w pracy z systemami przetwarzania danych lub integracjami

  • praktyka w przynajmniej części z obszarów:

    • ETL / pipeline’y danych

    • Apache Airflow lub podobne narzędzia

    • CI/CD

    • automatyzacja

  • SQL lub inny sposób pracy z danymi (nie musi być ekspercki poziom)

  • podejście do budowy skalowalnych i niezawodnych systemów

  • umiejętność rozwiązywania problemów

  • komunikatywność i praca zespołowa

  Mile widziane

  • doświadczenie z BigQuery

  • głębsza znajomość Data Engineering (ETL, modelowanie danych)

  • doświadczenie w data lineage / data governance

  • automatyzacja testów (np. performance / regresja)

  • praca przy systemach dużej skali