Expert en ingénierie des données
Certificateur · EFREI PARIS
L'essentiel
Certificateur(s)
Partenaires habilités
1 organisme habilité, d'après la liste publiée par France compétences : 1 à former et organiser l'évaluation.
Résumé de la certification
Objectifs et contexte
La numérisation et la mémorisation des activités des individus en tant que citoyens, employés, ou clients ont permis l'éclosion d'une nouvelle ère centrée autour de la notion de données.
Selon l'IDC (International Data Corporation), l'univers du digital ne devrait cesser de s'accroître. Sa vitesse de croissance estimée devrait lui permettre de doubler tous les deux ans. Dans ce contexte, les entreprises font face à une grande quantité de données pouvant provenir de leur propre système d'information, mais aussi de multiples sources ouvertes suivant la mouvance de l'Open data et du Big data. L’exploration des données offre potentiellement une forte valeur ajoutée pour les entreprises (notamment dans l'amélioration de leur performance et de leur compétitivité) mais cette plus-value ne peut être extraite sans des compétences techniques qui requièrent des certifications spécifiques à cet effet. La capacité de porter des projets orientés autour de la donnée est devenue une priorité pour 26% des directions métiers en France (IDC 2019). À titre d'exemple, une bonne maîtrise des processus et des pipelines de gestion des données clients pour le stockage, la collecte, le traitement, l'analyse, la restitution des données et surtout la prise de décision est un élément crucial pour la stratégie d'entreprise.
D’autre part le marché du cloud public connait une croissance très importante, depuis quelques années. Les solutions cloud (SaaS, ‘Software as a Service’, PaaS ‘Platform as a Service’, IaaS ‘Infrastructure as a service’) apportent des avantages incontestables pour accélérer la transformation digitale des entreprises (exemples : modèle de tarification flexible (Pas As You Go), Go-To-Market rapid, une scalabilité naturelle). Fort de ce constat, les entreprises sont de plus en plus à la recherche de compétences cloud et la connaissance et la maitrise de services proposés par les fournisseurs de cloud les plus connus (Microsoft Azure, Google Cloud Platform, Amazon Web Services) deviennent plus que jamais importantes.
Le métier d’ Expert en ingénierie des données : l’Expert en ingénierie des données organise, en tant que développeur informatique, la collecte et la mise à disposition des données en lien avec les équipes métiers. Il est aussi en charge d’industrialiser et mettre en production des traitements sur les données en lien avec les équipes métiers et les équipes qui les analysent. Le métier d’Expert en ingénierie des données se retrouve sur l’ensemble du cycle de vie de la donnée. Il doit répondre à des besoins hétérogènes, tout en garantissant une uniformité et une cohérence à l’intérieur de l’entreprise. Ses principales missions sont :
Analyser le besoin et concevoir l'infrastructure de traitement :
L’Expert en ingénierie des données analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientiste (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientiste et contribue tout au long du traitement des données.
Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.
Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (JavaScript, Scala, Python...), des systèmes d'exploitation et des solutions de base de données (SQL, NO SQL).
Les évolutions et besoins du marché : L’émergence du Big Data a fait évoluer les besoins en compétences de manière importante. L’étude de Data Transition Numérique sur Les 7 métiers porteurs du Big Data en 2019-2020, définit le Data engineer comme le premier acteur du processus de traitement de la donnée. Son travail intervient en amont de celui du Data scientiste, directement après que l’infrastructure technique ait été mise en œuvre par les architectes et les administrateurs. Métier émergent en tension sur le recrutement, selon l’OPIIEC (Observatoire des métiers du numérique, de l’ingénierie, du conseil et de l’évènement), 1 193 offres d’emploi sur un an ont été publiés, avec une augmentation de plus de 5% par an. Le site Linkedin.com proposait décembre 2021 plus de 3000 offres juste sur le mot clé « Data engineer ». Et cette tendance est confirmée par
l’APEC pour qui “ les entreprises ont besoin de mobiliser des compétences spécifiques pour collecter les données, les stocker, les modéliser ou encore les protéger” : depuis 2017, le nombre d’emploi de “Data engineer” sur le site de l’APEC a ainsi augmenté de 76%. Notons que même si les profils de Data Engineer sont de plus en plus recherchés, leurs missions ne sont pas toujours très claires. Maillons incontournables dans la chaine de la donnée permettant l’accès à une Data propre et valorisable, ce sont des profils clefs dont les fonctions peuvent beaucoup varier : de la collecte des données à la maintenance des data bases et des Framework, en passant par la construction de pipelines de données.
Les entreprises qui recrutent des Data Engineer : toutes les entreprises qui disposent de données (donnée clients, RH, activités, produits, etc.) recrutent de Data engineers. Le rôle de ces derniers est de créer et de développer les outils, les infrastructures, les architectures et les services pour collecter, transformer et traiter les données. Sans les ingénieurs data, les spécialistes et les analystes de données ne peuvent pas accomplir leurs tâches. Le besoin de recrutement est pressant dans tous les secteurs : santé, télécommunication, business, transport, énergie, finance, assurance, numérique etc.
Santé (Sanofi, la sécurité sociale, Ameli, Bioserentity, etc.)
Energie (Engie, EDF, etc.)
Télécommunication (Bouygues, Orange, SFR, etc.)
Transport (SNCF, RATP, etc. )
E-commerce (La Redoute, C- discount, vente privée, etc.)
Finance (BNP, BPCE, Société Générale, etc.)
Assurance (Axa, La Mutuelle Générale, Allianz, Directe Assurance, etc.)
Numérique
Intelligence artificielle (Axi technologies)
Telecom (Bouygues)
Banque (CGI)
Compétences recherchées :
Un langage de programmation (Python, R, JavaScript, Java, Scala, Go, Rust, etc.)
L’architecture Lambda (bonus: architecture Kappa)
Stream processing (Kafka, Spark, Flume)
Maîtrise des différentes techniques d’ETL et de la gestion de gros volumes
Bases de données distribuées
Mathématiques / statistiques
Frameworks Big Data
Maîtrise de SQL et des bases de données NoSQL
Cloud computing
Dans ce contexte la certification d'« Expert en ingénierie des données » d’EFREI Paris s'appuie sur le programme du Mastère Data Engineering de l’école. L'originalité de cette certification repose sur son interdisciplinarité centrée autour de la gestion des données en couplant cela avec les compétences du cloud les plus recherchées. Il s'agit donc de couvrir un ensemble de fondamentaux techniques, mais aussi et surtout de former les candidats aux multiples enjeux associés aux données. Ces enjeux devant être connus et appréhendés par les décideurs de demain concernent la maîtrise de la chaîne de la collecte, l’analyse, la protection et la gestion du stockage de données, mais aussi l'utilisation de ces données pour en extraire de la valeur ajoutée grâce à l’utilisation de l’intelligence artificielle. La certification intègre donc les problématiques associées à la gestion des données sur le cloud dans toute leur complexité et leur multidisciplinarité. Ainsi, les aspects d’ingénierie associés aux données seront le socle de cette certification, mais en complément les problématiques liées à l'administration des données, à l'économétrie, au marketing analytique, à la prise de décision, aux contraintes juridiques auront un rôle tout aussi crucial.
Activités visées
Compétences attestées
Blocs de compétences · 5
Secteur d'activité et type d'emploi
Secteurs d'activités
Types d'emplois accessibles
Spécialiste base de données - spécialiste blockchain - spécialiste test et validation - ingénieur machine learning - consultant architecte technique - spécialiste infrastructure Data
Métiers visés (ROME)
Références juridiques des réglementations d'activité
Si le métier d'Expert en ingénierie des données n'est pas réglementé en tant que tel, ses activités s'exercent dans le respect des réglementations et contraintes liées notamment à la sécurité des données (notamment dans le cloud), à la propriété/protection des données et au respect de la vie privée dans le cadre de la stratégie et de la gouvernance des données entre autres.
Tensions de recrutement · DARES 2024
Niveau de tension : Très élevée (5/5) en tension
Principaux facteurs : Lien formation-emploi et Manque de main-d'œuvre disponible.
Diplôme le plus fréquent : Diplôme de niveau bac+5 ou plus (doctorat, master ou équivalent) en communication et information (35 % des actifs en emploi).
Mesuré au niveau de la famille professionnelle : Experts et consultants en systèmes d'information (nomenclature FAP).
-
M2X93— Experts et consultants en systèmes d'information tension 5/5 (Très élevée)
Indicateur de tension sur le marché du travail 2024 — DARES / France Travail. Les indicateurs sont publiés par famille professionnelle (FAP), pas par métier ROME : ils couvrent l'ensemble des métiers de ces familles.
Marché du travail · BMO 2026
Mesuré au niveau de la famille professionnelle : Experts et consultants en systèmes d'information (nomenclature FAP).
-
M2X93— Experts et consultants en systèmes d'information
Enquête Besoins en Main d'Œuvre (BMO) 2026 — France Travail (open data), cumul national. Les indicateurs sont publiés par famille professionnelle (FAP), pas par métier ROME : ils couvrent l'ensemble des métiers de ces familles.
Voie d'accès à la certification
Liens avec d'autres certifications
Certifications en correspondance (équivalences par blocs).