Mid+/ Senior DevOps Engineer

Opis oferty

Projekt dotyczy modernizacji i migracji istniejącej platformy danych do środowiska opartego na Databricks, z naciskiem na automatyzację, skalowalność i bezpieczeństwo. Zespół pracuje nad usprawnieniem procesów przetwarzania danych oraz wdrożeniem nowoczesnych rozwiązań CI/CD i monitoringu dla środowisk chmurowych.

Zakres obowiązków

• Wspieranie migracji z Azure Synapse do Databricks poprzez budowanie i utrzymywanie stabilnej infrastruktury i pipeline’ów wdrożeniowych.

• Automatyzacja provisioning’u, konfiguracji i monitorowania środowisk Databricks w wielu strumieniach danych.

• Zapewnienie sprawnych procesów CI/CD dla zadań data engineering, w tym: automatyzacji inicjalnych załadunków danych wdrażania warstw data marts i warstw konsumpcyjnych

• integracji z raportowaniem i rozwiązaniami Power BI

• Współpraca z Data Engineerami, zespołami produktowymi i interesariuszami biznesowymi w celu zapewnienia niezawodnej i bezpiecznej dostawy danych.

• Optymalizacja wydajności, skalowalności i kosztów środowisk chmurowych. Implementacja monitoringu, alertowania i logowania w celu utrzymania wysokiej dostępności systemów.

• Tworzenie i utrzymanie Infrastructure as Code (IaC) dla powtarzalnych i kontrolowanych wersjami wdrożeń.

• Szybkie diagnozowanie i rozwiązywanie problemów związanych ze środowiskiem, pipeline’ami i integracjami.

Opis wymagań

• 5+ lat doświadczenia zawodowego w DevOps, infrastrukturze chmurowej i automatyzacji.

• Silne praktyczne doświadczenie w środowiskach Azure i Databricks.

• Biegłość w narzędziach Infrastructure as Code (np. Terraform, ARM templates, Bicep lub podobne).

• Dobre umiejętności skryptowania i automatyzacji w Pythonie, Bashu lub PowerShellu.

• Znajomość pipeline’ów CI/CD (Azure DevOps, GitHub Actions lub podobne) dla workflowów data engineering.

• Wiedza o konteneryzacji i orkiestracji (Docker, Kubernetes jako plus).

• Doświadczenie w implementacji narzędzi monitoringu i obserwowalności (Azure Monitor, Prometheus, Grafana itd.).

• Dobre zrozumienie bezpieczeństwa chmurowego, governance i optymalizacji kosztów.

• Umiejętność współpracy z inżynierami w celu zapewnienia stabilnych, skalowalnych i łatwych w utrzymaniu rozwiązań.

• Doświadczenie w pracy w metodykach zwinnych (SCRUM).