DATA ENGINEER Spark Scala (h/f)

Résumé

Le rôle principal d'un Data Engineer est d'assurer la conception, le développement et la gestion des infrastructures de traitement des données, afin de soutenir les activités des différentes directions

Responsabilités :

• Contribuer à la gestion et à la maintenance des usages demandés par le PO IMM dans le Datalake.

• Développer des solutions en utilisant Spark/Scala, SQL, LUCID, Hive.

• Gérer les pipelines d'ingestion de données.

• Assurer un suivi technique pour homogénéiser les bonnes pratiques de développement.

• Créer des vues dans le Datalake (BV, UV, SUV, raw data).

• Produire des rapports pour IMM STAT via Power BI.

• Participer aux cérémonies agiles (sprint planning, daily stand-ups, poker planning, rétrospectives).

Must Haves :

• Expérience en Spark/Scala.

• Compétences en SQL.

• Connaissance de Hive.

• Expérience avec GitHub.

• Utilisation de SonarQube.

• Anglais : Avancé

Nice to Have :

• Expérience en Aggile Scrum.

• Connaissance de MySQL.

• Familiarité avec Power BI.