Data Engineer

O projeto:

• Projeto internacional no setor financeiro

• Plataforma de dados em Azure, com ADF e Databricks como núcleo

• Forte foco em data engineering, governance e qualidade

• Plataforma crítica em produção, com elevados requisitos de fiabilidade e estabilidade

Responsabilidades

• Desenvolver e manter pipelines de dados em Azure Databricks (PySpark / Spark SQL).

• Implementar e otimizar tabelas Delta Lake (ETL/ELT, medallion architecture).

• Colaborar no desenho de datasets analíticos.

• Integrar workloads de Databricks com Azure Data Factory (orquestração).

• Aplicar boas práticas de performance, qualidade e fiabilidade dos dados.

• Contribuir para a evolução da plataforma para cenários de analytics e AI.

Requisitos

• Pelo menos 4 anos de experiência como Data Engineer.

• Experiência prática com Azure Databricks e Apache Spark.

• Bons conhecimentos de Python (PySpark) e SQL.

• Experiência com Delta Lake.

• Experiência com serviços Azure:

  • Azure Data Lake Storage (ADLS Gen2)

  • Azure Data Factory

• Inglês fluente (oral e escrito).

Preferencial:

• Experiência com CI/CD para data platforms (Azure DevOps, Git).

• Noções de governance de dados (ex.: Unity Catalog, Purview).

• Sensibilidade a temas de segurança, qualidade e ambientes regulados.

• Experiência em projetos internacionais ou equipas distribuídas.