Data Engineer (Cloud)

H2B Group to dynamicznie rozwijająca się firma consultingowa IT & IoT z siedzibą w Gdańsku, działająca od 2016 roku. Jesteśmy częścią grupy kapitałowej Euvic - największej federacji spółek informatycznych w Europie Środkowej. Zajmujemy się głównie wsparciem technologicznym oraz konsultingiem dla klientów z całego świata. Specjalizujemy się w takich branżach jak MedTech, GreenTech, Fintech, e-commerce i energetyczna.

Dzięki wieloletnim doświadczeniom z klientami wiemy, że bardzo często wynikiem audytów, czy innych form współpracy z klientami, jest zapotrzebowanie na konkretne kompetencje. W związku z tym, od początku naszego istnienia oferujemy IT staff augmentation, umożliwiając firmom elastyczne powiększanie zespołów projektowych, a kandydatom różnorodność technologiczną. 

Naszą misją jest dostarczanie kompetencji oraz innowacyjnych rozwiązań opartych na sztucznej inteligencji, które realnie usprawniają procesy biznesowe. Dzięki ścisłej współpracy z naszymi klientami, dostarczamy szybkie i mierzalne efekty, które wspierają ich rozwój.

Aktualnie poszukujemy doświadczonego Data Engineera do współpracy z naszym klientem z Wielkiej Brytanii w projekcie związanym z dużymi zbiorami danych pochodzącymi z różnych źródeł (Kafka, RDBS - Postgres CDC, filesystem CSV). Projekt opiera się na architekturze Medalion, w której kluczowa jest implementacja i transformacja danych za pomocą PySpark i SQL. Wykorzystywane technologie to m.in. DataBricks (Unity Catalog, Workflows, Jobs), AWS (S3, Docker), Kubernetes oraz Terraform w zakresie Infrastructure as Code. Wymagana jest praca w trybie 24/7 on-call support z dodatkowym wynagrodzeniem za pełnione dyżury (dyżury co 3 tygodnie).

Zakres obowiązków

• Projektowanie, implementacja oraz optymalizacja procesów ETL z wykorzystaniem PySpark, SQL oraz DataBricks.
• Obsługa i konfiguracja infrastruktury danych na AWS (S3, Docker), a także klastrów Kubernetes.
• Monitorowanie i rozwiązywanie incydentów oraz wsparcie w trybie on-call support.
• Implementacja infrastruktury za pomocą Terraform i CircleCI (CI/CD).
• Weryfikacja i testowanie poprawności przetwarzanych danych poprzez notebooki DataBricks (Unity Catalog, DataFrames API).

Wymagania

• Minimum 5 lat doświadczenia jako Data Engineer, preferowane projekty związane z dużymi zbiorami danych i transformacją.
• Biegłość w pracy z DataBricks (warunek konieczny) oraz znajomość Python, PySpark i SQL.
• Doświadczenie w zarządzaniu i obsłudze infrastruktury na AWS (S3, Docker) oraz podstawowa znajomość Azure.
• Doświadczenie z Infrastructure as Code (Terraform) i wdrażaniem procesów za pomocą CI/CD (CircleCI).
• Gotowość do pełnienia dyżurów on-call (reagowanie do 30 minut) w systemie rotacyjnym.

Co oferujemy?

• Pracę zdalną – elastyczność, która pozwala pracować z każdego zakątka świata!
• Ciekawe projekty – dobierane zgodnie z Twoimi umiejętnościami i zainteresowaniami, dające możliwość pracy nad innowacyjnymi rozwiązaniami.
• Umowa B2B (do 180zł/h) bez zapisu o wyłączności – współpracuj z nami na swoich zasadach.
• Rozwój zawodowy – praca z najnowszymi technologiami i w zróżnicowanych projektach, które gwarantują stały rozwój.