BigData Developer z GCP

Dołącz do doświadczonego zespołu Big Data dostarczającego skalowalne, natywne dla chmury rozwiązania do migracji i orkiestracji danych na poziomie korporacyjnym w ekosystemie Google Cloud. Pracujemy nad wysokowydajnymi pipeline'ów, zarządzaniem metadanymi i nadzorem nad produktami danych - a wszystko to w oparciu o nowoczesne technologie chmurowe.

Twoje zadania

• Tworzenie dynamicznych DAG Airflow przy użyciu niestandardowego DAG Factory i wdrażanie ich za pośrednictwem Cloud Composer

• Tworzenie skalowalnych aplikacji Cloud Dataflow do migracji danych z Oracle on-prem i HDFS do BigQuery i GCS

• Konfigurowanie aplikacji Cloud Dataproc do orkiestracji pipeline'ów pozyskiwania danych z różnych źródeł do BigQuery

• Nadzorowanie cyklu życia i zarządzanie zasobami danych i produktami danych przy użyciu narzędzi takich jak BigQuery, Dataplex i BigLake.

• Wspieranie codziennych operacji: optymalizacja, monitorowanie, reagowanie na incydenty (w chmurze i lokalnie)

• Uczenie zespołów ds. danych, jak efektywnie korzystać z produktów danych i zarządzać nimi w ramach GCP

Wymagania

• Minimum 5 lat praktycznego doświadczenia w projektach Big Data Engineer

• Solidne doświadczenie z Google Cloud Platform (GCP), w szczególności BigQuery, Dataflow, Dataproc, GCS i Cloud Composer

• Dobra znajomość procesów ETL/ELT i rozproszonego przetwarzania danych (np. Apache Spark)

• Biegła znajomość języka Python i SQL w zakresie transformacji danych i logiki orkiestracji.

• Znajomość najlepszych praktyk Terraform i CI/CD w zakresie infrastruktury chmury i wdrażania.

• Praktyczne doświadczenie z Airflow (projektowanie, planowanie, monitorowanie DAG)