DATA ENGINEER Scala, Spark, AWS (h/f)

Introduction

emagine recherche un Data engineer pour l’un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d’ingestion de données tout en garantissant la performance et la scalabilité des processus de données.

Durée : 36 mois maximum

Prestation en freelance à temps plein en mode hybride (2 jours par semaine).

Responsabilités :

Ce poste implique la responsabilité de concevoir et de mettre en œuvre des pipelines de données.Essentielles sont les tâches suivantes :

• Concevoir et implémenter les composants/pipelines d’ingestion de données en Scala Spark.

• Traiter et normaliser les données.

• Refactoriser des imports pour respecter l'architecture médaille.

• Appliquer les règles métier pour la création de la couche gold.

• Distribuer les données aux différents consommateurs/Métiers.

• Implémenter les règles de qualité des données (Data Quality framework).

• Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance).

• Rédiger et maintenir la documentation technique des développements réalisés.

• Garantir le respect des standards du Groupe en matière de qualité et de sécurité des données.

• Participer à la maintenance du calculateur en Scala Spark avec des objectifs de performance et de scalabilité.

• Importer des données de marché via des traitements ETL.

Key Requirements :

• Compétence en Scala et Spark.

• Expérience sur AWS cloud (Glue jobs, Lambda, Step Functions).

• Connaissance des architectures médaille (silver & gold layers).

• Compétences en traitement des données (ETL).

• Connaissance des principes de Data Quality.

Nice to Have :

• Expérience avec des outils de monitoring et de CI/CD.

• Compétences en optimisation des performances.