Senior Data Engineer (m/w/d)

Wir, die emagine GmbH, suchen für unsere Business Unit Insurance einen erfahrenen Senior Data Engineer, der eine entscheidende Rolle bei der Weiterentwicklung einer Analytics Plattform spielt. Der ideale Kandidat bringt ein tiefes Verständnis für Azure Databricks mit und hat Erfahrung in der Erstellung resilienter Data-Pipelines sowie in der Administration von Databricks Workspaces.

Rahmendaten:

Start: asap

Dauer: 15 Monate

Einsatzort: Köln / remote

Aufgaben

• Unterstützung bei der Weiterentwicklung der Plattform zu einem Lakehouse.

• Mitarbeit an der Migration der Plattform in einen neuen Azure Tenant.

• Technische Anbindung von weiteren IT-Systemen.

• Implementierung von Entwicklungsprozessen für Lakehouse-Entwickler.

• Automatische Bereitstellung von Berechtigungsgruppen und Monitoring-Dashboards.

• Migration von bestehenden Assets, Daten und Daten-Pipelines.

• Integration von GitLab CI/CD zu GitHub Actions.

• Abbau der Cloud Ressourcen im alten Azure Tenant.

Anorderungen

• Tiefes Verständnis von Berechtigungsstrukturen innerhalb von Databricks mit Unity Catalog.

• Erfahrung bei dem Design und der Administration von Databricks Workspaces.

• Entwicklung von resilienten Data-Pipelines mit PySpark inkl. Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles (DAB).

• Kenntnisse von Data Contracts.

• Partitionierung von Daten in Delta Lake.

• Erfahrung mit GitLab CI/CD und/oder GitHub Actions.

Wünschenswerte Fähigkeiten

• Erfahrung in der Implementierung von Daten-Ingest und Transformationen.

• Kenntnisse im Bereich Cloud-Architekturen und -Technologien.

• Vertrautheit mit AI-Systemen und deren Hosting.