Manager, Data Engineering

Overview

Lead a data engineering team to build scalable, reliable pipelines on AWS and Snowflake.

Key Responsibilities

• data pipelines
• platform architecture
• ai workflows
• data modeling
• team leadership
• project management

Tasks

-Stay current with emerging trends in data engineering and proactively evolve the team’s capabilities and toolset -Manage project timelines, resources, and priorities across multiple initiatives in a fast-paced, cross-functional environment -Drive scalable architecture through platform systems design and modern design patterns -Diriger et encadrer une équipe d'ingénieurs de données chargés de développer et de maintenir des pipelines de données et des infrastructures sur des plateformes telles qu'AWS et Snowflake -Champion and implement data engineering best practices, including testing, documentation, governance, and observability -Establish clear standards for operational excellence and define “what good looks like” across all stages of the data lifecycle -Drive the design and development of data models and ETL/ELT processes that ensure high data quality, availability, and performance -Tirer parti des approches basées sur l'IA dans les flux de données, notamment la détection des anomalies, l'optimisation de l'orchestration et la génération automatisée de code -Partner with analysts, data scientists, FinOps engineers, engineering and product teams to understand data needs and translate them into scalable data solutions -Define and drive the long-term vision for data engineering in alignment with Autodesk data platform strategy and analytics roadmap -Lead and mentor a team of data engineers responsible for developing and maintaining data pipelines and infrastructure on platforms such as AWS and Snowflake -Collaborer avec les analystes, les scientifiques de données, les ingénieurs FinOps, les équipes d'ingénierie et les équipes produit afin de comprendre les besoins en matière de données et de les traduire en solutions de données évolutives -Promouvoir et mettre en œuvre les meilleures pratiques en matière d'ingénierie des données, notamment les tests, la documentation, la gouvernance et l'observabilité -Leverage AI-driven approaches in data workflows, including anomaly detection, orchestration optimization, and automated code generation

Requirements

• sql
• python
• aws iam
• spark
• airflow
• leadership

What You Bring

-Connaissance des pratiques FinOps, de la sécurité des données et de la conformité dans les environnements cloud -Knowledge of AWS IAM roles, permissions, and best practices for least-privilege access -Expérience dans des organisations de produits/plateformes ou dans le soutien à l'ingénierie des données pour des applications SaaS -10 ans d'expérience en ingénierie des données, dont au moins 4 ans dans un rôle de direction ou de gestion -10 years of experience in data engineering, with at least 4 years in a leadership or management role -Demonstrated success leading technical teams and delivering complex data engineering projects -Proficient in SQL, Python, and data modeling best practices -Expérience avérée dans la direction d'équipes techniques et la réalisation de projets complexes d'ingénierie des données -Définir et piloter la vision à long terme de l'ingénierie des données en accord avec la stratégie de plateforme de données et la feuille de route analytique d'Autodesk -Passion pour l'accompagnement des talents et la constitution d'équipes inclusives et performantes -Diriger la conception et le développement de modèles de données et de processus ETL/ELT qui garantissent la qualité, la disponibilité et la performance des données -Experience working in product/platform organizations or supporting data engineering for SaaS-based applications -Connaissance des cadres de qualité des données, des outils d'observabilité et du CI/CD pour les données -Connaissance des cadres de traitement des mégadonnées (par exemple, Spark, Hadoop) -Excellent communication and stakeholder management skills -Expérience dans la création et la maintenance de pipelines de données à grande échelle, par lots et en temps réel -Knowledge of big data processing frameworks (e.g. Spark, Hadoop) -Experience working with cloud data platforms (e.g., AWS, Snowflake, Databricks) and orchestration tools (e.g., Airflow) -Knowledge of FinOps practices, data security, and compliance in cloud environments -Connaissance des rôles, des autorisations et des meilleures pratiques AWS IAM pour un accès avec le moins de privilèges possible -Se tenir au courant des nouvelles tendances en matière d'ingénierie des données et faire évoluer de manière proactive les capacités et les outils de l'équipe -Maîtrise de SQL, Python et des meilleures pratiques en matière de modélisation des données -Expérience de travail avec des plateformes de données cloud (par exemple, AWS, Snowflake, Databricks) et des outils d'orchestration (par exemple, Airflow) -Expérience avec les pipelines ETL et ELT, y compris les outils ETL traditionnels (par exemple, Airflow, Informatica) et les cadres ELT modernes (par exemple, dbt, Snowflake) -Capacité à mettre en œuvre une architecture évolutive grâce à la conception de systèmes de plateformes et à des modèles de conception modernes -Familiarity with data quality frameworks, observability tools, and CI/CD for data -Experience building and maintaining large-scale batch and real-time data pipelines -Excellentes compétences en communication et en gestion des parties prenantes -Experience with both ETL and ELT pipelines, including traditional ETL tools (e.g., Airflow, Informatica) and modern ELT frameworks (e.g., dbt, Snowflake) -Gérer les calendriers, les ressources et les priorités des projets dans le cadre de multiples initiatives, dans un environnement dynamique et interfonctionnel

People Also Searched For

Benefits

-Établir des normes claires d'excellence opérationnelle et définir ce qui constitue une bonne pratique à toutes les étapes du cycle de vie des données

About Autodesk

-Pioneered software for 2D and 3D design, revolutionizing industries. -Known for products like AutoCAD, it reshaped architecture, engineering, and manufacturing workflows. -Empowering creators in fields from construction to digital media, enabling more innovative designs. -Develops tools used in iconic projects, from skyscrapers to blockbuster movies. -Pushes the boundaries of design technology, leading the way in artificial intelligence and automation. -Software is a cornerstone in diverse sectors, from industrial to infrastructure, energy, and entertainment. -Cloud-based solutions streamline design processes and foster real-time collaboration across industries. -A leader in 3D design software, with solutions powering projects in every corner of the globe. -Committed to shaping the future of digital design, bringing complex visions to life.

Sector Specialisms