Senior Big Data DevOps Engineer (GCP / Apache Beam)

O roli:

W DoubleData specjalizujemy się w zaawansowanych rozwiązaniach do pozyskiwania i przetwarzania danych na dużą skalę. W związku z dynamicznym rozwojem i rosnącym wolumenem informacji, podejmujemy strategiczną inicjatywę budowy naszej platformy danych nowej generacji w oparciu o chmurę Google Cloud Platform.

Poszukujemy doświadczonego Senior Big Data DevOps Engineera, który obejmie kluczową rolę w tym projekcie. Będziesz odpowiedzialny(a) za zaprojektowanie i wdrożenie wysoce skalowalnego, serwerlessowego ekosystemu do przetwarzania danych, wykorzystując najnowocześniejsze technologie, takie jak Apache Beam i Google BigQuery. To wyjątkowa okazja, aby od podstaw tworzyć architekturę, która stanie się fundamentem naszych przyszłych operacji analitycznych i produktowych. Przewidywany czas trwania projektu to ok. 6 miesięcy.

Główne zadania:

• Projektowanie, budowanie i utrzymanie wysoce wydajnych i skalowalnych pipeline'ów danych z wykorzystaniem Apache Beam i Google Cloud Dataflow.

• Architektura i zarządzanie naszymi rozwiązaniami hurtowni danych w Google BigQuery, z naciskiem na optymalizację wydajności, skalowalności i kosztów.

• Wykorzystanie zasad Infrastructure as Code (IaC) przy użyciu Terraform do pełnej automatyzacji provisioningu i zarządzania infrastrukturą chmurową.

• Tworzenie i optymalizacja procesów CI/CD (np. z użyciem GitHub Actions) w celu zapewnienia ciągłości dostarczania infrastruktury i aplikacji danych.

• Implementacja solidnych mechanizmów monitoringu, logowania i obsługi błędów w celu zapewnienia niezawodności i wysokiej jakości danych w całym systemie.

• Ścisła współpraca z zespołami deweloperskimi w celu stworzenia płynnego, kompleksowego cyklu życia danych – od pozyskania aż po zaawansowaną analitykę.

Czego oczekujemy (Wymagania):

• Minimum 5 lat doświadczenia komercyjnego na stanowisku DevOps Engineer, Data Engineer lub pokrewnym.

• Ekspercka wiedza i praktyczne doświadczenie w pracy z Google Cloud Platform (GCP).

• Głębokie, komercyjne doświadczenie w budowaniu pipeline'ów danych z użyciem Apache Beam (preferowana Java) i ich uruchamianiu na Google Cloud Dataflow.

• Biegła znajomość Google BigQuery z perspektywy architekta danych – wiesz, jak efektywnie strukturyzować dane, optymalizować zapytania i zarządzać kosztami.

• Doświadczenie z technologiami do przetwarzania strumieniowego, takimi jak Google Pub/Sub lub Kafka.

• Biegłość w automatyzacji infrastruktury jako kodu przy użyciu Terraform.

• Umiejętność strategicznego myślenia i samodzielnego rozwiązywania złożonych problemów architektonicznych.

• Znajomość narzędzi do konteneryzacji (Docker, Kubernetes).

Mile widziane:

• Doświadczenie w obszarze web scrapingu lub przetwarzania dużych wolumenów danych z heterogenicznych źródeł.

• Doświadczenie w migracji systemów z relacyjnych baz danych do chmurowych hurtowni danych.

• Bardzo dobra znajomość języka Python i/lub Java.

Co oferujemy?

• Strategiczny Projekt: Obejmij kluczową rolę w jednym z najważniejszych projektów technologicznych w firmie, z dużą autonomią w podejmowaniu decyzji architektonicznych.

• Nowoczesny Tech Stack: Pracuj z czołowymi technologiami Big Data (Apache Beam, BigQuery, Dataflow) w nowoczesnym, serwerlessowym podejściu.

• Praca Zdalna: Oferujemy 100% pracy zdalnej i elastyczne godziny.

• Realny Wpływ: Twoja praca bezpośrednio przyczyni się do zwiększenia możliwości technologicznych firmy i odblokowania jej potencjału analitycznego.

• Sprzęt: Zapewniamy MacBooka Pro lub inny, wybrany przez Ciebie sprzęt najwyższej klasy.

• Świetny Zespół: Dołącz do zgranego, technicznego zespołu, który ceni otwartą komunikację i pragmatyczne podejście do rozwiązywania problemów.

Jeśli chcesz budować skalowalne systemy danych od podstaw i masz pasję do nowoczesnych technologii, dołącz do nas i poprowadź rewolucję danych w DoubleData!