Data Engineer

Opis Projektu:

Wiodąca niemiecka firma, zajmująca czołową pozycję w branży telekomunikacyjnej i usług IT, specjalizująca się w nowoczesnych rozwiązaniach takich jak hosting stron internetowych, przetwarzanie w chmurze oraz usług internetowych poszukuje Data Engineera który zaprojektuje i wdroży infrastrukturę niezbędną do hostowania, orkiestracji i zarządzania nawet 1500 procesami scoringowymi ML w nowym środowisku Databricks.

Kluczowe obowiązki

• Konfiguracja klastrów, jobów i workflow w Databricks do zastosowań ML scoringu na dużą skalę.

• Wykorzystanie Infrastructure as Code (np. Terraform) w celu zapewnienia odtwarzalności i ładu.

• Implementacja infrastruktury zdolnej obsłużyć tysiące zadań scoringowych ML.

• Konfiguracja harmonogramów jobów, równoległego przetwarzania i optymalizacji zasobów.

• Integracja monitoringu i alertowania z użyciem natywnych narzędzi chmurowych.

• Tworzenie procesów wdrożeniowych modeli ML w Databricks MLflow lub innych narzędziach.

• Współpraca z DevOps w celu zapewnienia wspólnej infrastruktury dla ML i BI (np. współdzielone zasoby, tabele Delta Lake).

• Automatyzacja provisioning’u zasobów i wdrożeń poprzez CI/CD.

Wymagania:

• Doświadczenie w ML Ops w środowiskach produkcyjnych.

• Duża wiedza praktyczna z Databricks (MLflow, Jobs, Workflows, Delta Lake).

• Doświadczenie w orkiestracji dużych zadań batchowych i przetwarzaniu rozproszonym.

• Znajomość Pythona do skryptowania workflow i integracji pipeline’ów.

• Doświadczenie w CI/CD dla wdrażania modeli ML (Azure DevOps, GitHub Actions itp.).

• Znajomość narzędzi monitoringu i logowania (Datadog, Prometheus, Grafana lub natywne).

• Zrozumienie IaC i automatyzacji środowisk chmurowych.

• Wiedza o lifecycle modeli, wersjonowaniu i reprodukowalności.