Surveiller les jobs et optimiser les configurations de clusters.
Travailler avec les équipes de support pour gérer les incidents en production.
Collaborer avec les Architectes de Données, les Concepteurs de Données et les équipes de Gouvernance.
Assurer la gouvernance des standards de codage, de la documentation et des meilleures pratiques en ingénierie de données.
Développer et maintenir des pipelines d’ingestion avec Databricks (PySpark/SQL).
Requirements
python
azure devops
terraform
databricks
spark
adls gen2
Expérience avec PowerBI ou tout autre outil de visualisation est un atout.
Travailler avec Azure Data Lake Storage (ADLS Gen2) pour un stockage sécurisé et efficace des données.
Scripting / Automatisation : Python, Bash ou PowerShell.
Diplôme de baccalauréat en informatique, ingénierie, science des données ou domaine connexe.
Cloud : Azure Data Lake (ADLS Gen2), Azure Key Vault, Azure Data Factory (optionnel).
Contrôle de version / CI-CD : Azure DevOps (Repos, Pipelines) et reporting via ADO Boards.
Mettre en œuvre des pipelines CI/CD avec Azure DevOps pour le déploiement, les tests et la promotion des environnements.
Expérience avec Terraform pour le provisionnement Databricks est un atout.
Construire les transformations des couches Bronze, Silver et Gold selon l’architecture medallion.
Optimiser les jobs Spark pour la performance et l’efficacité des coûts.
Gérer l’infrastructure-as-code avec des modèles ARM / Terraform pour le provisionnement Databricks & Storage.
5 à 7+ années d’expérience dans un rôle d’ingénierie de données.
Gérer les schémas et les tables via Unity Catalog pour la gouvernance et la traçabilité.
Concepts de modélisation de données : compréhension des modèles dimensionnels et normalisés.
Optimisation des performances : tuning Spark, partitionnement, mise en cache.
Mettre en place et maintenir l’observabilité (alertes et tableaux de bord sur les jobs, données, coûts).
Solide maîtrise pratique de Databricks (PySpark, SQL, Delta Lake).
Exposition à MLflow, Databricks Workflows ou REST APIs est un atout.
Automatiser les tests, les contrôles de qualité des données et les cadres de validation.
Benefits
Banque de congés annuels
Réductions pour les employés et bien plus encore !
Assurance santé, dentaire et vision compétitive
Rémunération compétitive et plan de primes annuelles
Training + Development
Information not given or found
Interview process
Information not given or found
Visa Sponsorship
Information not given or found
Security clearance
Information not given or found
Company
Overview
1884
Year Founded
The year Mitsubishi Heavy Industries was established, marking its long history of innovation and global growth.
A global powerhouse known for providing cutting-edge solutions in various sectors.
Tackles high-impact projects across energy, infrastructure, marine, transport, and utilities.
Known for large-scale infrastructure projects, including power plants, transportation systems, and industrial equipment.
Renowned for innovation in aerospace, defense, and energy systems.
Contributed to the development of the world's largest LNG carrier, pushing the boundaries of marine technology.
Deep expertise in advanced technologies, including production of large-scale turbines, industrial machinery, and environmental solutions.
Strong presence in Asia, Europe, and the Americas, driving technological progress and global infrastructure development.
Culture + Values
Customer First
Innovation and Challenge
Integrity and Fairness
Social Responsibility
Global Perspective
Respect for People
Environment + Sustainability
2050 Target
Net-zero CO2 Commitment
Aim to achieve net-zero carbon dioxide emissions by the year 2050.
30% Reduction
CO2 Emissions Target
Aims to reduce carbon dioxide emissions by 30% per unit of sales by 2030, compared to 2019 levels.
Promotes decarbonization technologies to reduce emissions.
Focuses on renewable energy, including wind, solar, and hydrogen solutions.
Invests in energy-efficient technologies and carbon capture systems.
Pursues circular economy models in product development and operations.
Inclusion & Diversity
15%
Target for Women in Managerial Roles
The company aims to increase the representation of women in managerial positions to 15% by 2025, reflecting a significant commitment to advancing gender equality in leadership.
Focus on developing a diverse workforce across age, nationality, and skill sets
Commitment to fostering an inclusive and respectful workplace culture
Ongoing initiatives to enhance gender balance in leadership roles
Partnerships with organizations to support workforce diversity