Ingénieur Cloud Data Senior - Hadoop / Spark / AWS (h/f)

Vous apporterez votre expertise en stratégie data, participerez à la migration des jobs ETL Talend vers des pipelines basés sur Spark (PySpark / Spark SQL), serez impliqué dans l’architecture et l’implémentation, et aurez l’opportunité d’expérimenter de nouvelles technologies et solutions.

Vous évoluerez au sein d’une équipe dynamique, favorisant le partage de connaissances et les bonnes pratiques.

Vous serez attendu sur un rôle de référent technique, contribuant à la montée en compétences de l’équipe, avec un fort accent sur la fiabilité, la maintenabilité et la scalabilité des solutions fournies à nos clients.

Responsabilités Principales

• Concevoir et développer des pipelines de données efficaces.
• Participer à la migration des solutions ETL vers des technologies modernes.
• Assurer l’architecture et la mise en place des solutions data.
• Collaborer avec d’autres équipes pour garantir des pratiques de développement robustes.
• Contribuer à l’évolution des compétences techniques de l’équipe.
• Optimiser les solutions existantes pour améliorer la performance et la scalabilité.

Compétences Clés Requises

• 3 à 5 ans d’expérience pratique dans la construction de pipelines de données sur des plateformes cloud publiques, idéalement AWS (principal fournisseur), et/ou Azure, Google Cloud Platform.
• 3+ ans d’expérience dans l’architecture, la conception, le développement, l’implémentation et le support de solutions data.
• Expérience dans plusieurs des domaines suivants : architecture de bases de données, ETL, business intelligence, big data, machine learning, analytics avancées.
• Expérience sur des environnements Hadoop et Spark.
• Expérience en orchestration de pipelines avec Airflow.
• Expérience en architecture Lakehouse : Hudi, Iceberg, Delta.
• Connaissance des optimisations Lakehouse : compaction, Z-Order, etc.
• Expérience en développement logiciel et langages de transformation de données : Python, SQL, Docker, Bash, ainsi qu’en CI/CD et automatisation pour la construction de pipelines critiques.

Atouts Souhaitables

• Certification AWS ou autres certifications cloud.
• Expérience avec des systèmes de gestion de données en temps réel.
• Connaissance des meilleures pratiques de sécurité en matière de données.
• Capacité à travailler dans un environnement agile.

Détails Divers

Poste à distance ou hybride, durée indéterminée. Opportunité de travailler sur des projets innovants dans un secteur en pleine évolution.