Data engineer

Le Data Engineer préconise et met en place les ressources techniques nécessaires à la performance de l’analyse des données massives et de l’intelligence artificielle.

Véritable interface entre la technique et le métier, le Data Engineer est au cœur du déploiement des technologies Big Data et de l’exploitation des données métier. À partir de la problématique métier, et en fonction des algorithmes pertinents envisagés, il met en place une plateforme de collecte et de traitements des données adaptée, suit l’ensemble du processus de développement de Big Data et de l’intelligence artificielle, et en propose les adaptations.

Les nombreuses utilisations de l’intelligence artificielle font émerger des besoins de compétences : de la collecte à l’analyse de données, du langage de programmation en passant par l’architecture.

Activités visées :

• Concevoir un projet d’architecture de gestion de données massives
• Élaborer une solution technique de collecte et de traitement de données massives
• Déployer l’architecture de gestion de données massives
• Piloter un projet de gestion de données massives

•  Analyser le fonctionnement d’une organisation et ses flux de données à partir d’une cartographie des données et d’une étude préalable afin d’identifier l’opportunité de développement d’un projet d’architecture
• Décrire, en les formalisant, des cas d’usages du domaine de la Data en exploitant des méthodes d’idéation et en prenant en compte les spécificités de l’écosystème pour déterminer les besoins d’une architecture de gestion de données
• Elaborer un système de veille technologique et réglementaire propre au secteur du numérique avec une attention particulière sur les thèmes du cloud, du décisionnel et du Big Data en sélectionnant différentes sources vérifiées, en collectant et en analysant les informations afin d’adapter les choix technologiques et les pratiques associées aux tendances observées
• Identifier les sources critiques relatives au respect du cadre juridique et de la démarche de responsabilité sociétale en suivant les publications des organismes officiels afin d’améliorer la conformité du projet d’architecture de gestion de données massives en continu et de garantir le respect du cadre juridique
• Partager les résultats issus de la veille en les synthétisant en interne via un outil de partage documentaire professionnel afin de diffuser les bonnes pratiques et le respect réglementaire auprès des équipes projet
•  Initier une étude de faisabilité de l’architecture data en collaboration avec un Data Scientist ou un Data Analyst, en sélectionnant et en catégorisant les données à traiter en fonction de leur disponibilité, leur valeur ajoutée et leur adéquation vis-à-vis du projet d’architecture, afin de définir le périmètre du prototype
•  Elaborer un prototype de l’architecture data en utilisant la technologie retenue sur un périmètre fonctionnel réduit afin d’évaluer son opérationnalité et sa pertinence au regard des besoins identifiés
• Rédiger un cahier des charges formalisant les besoins, les objectifs, les risques, les contraintes, les sources de données ainsi que les enjeux réglementaires (RGAA, RGPD) et éthiques associés tels que la RSE et la sobriété énergétique Green IT afin de définir le périmètre du projet 
• Rédiger les spécifications techniques et fonctionnelles générales de l’architecture d’analyse de données massives en analysant les besoins et les retours d’expérience du prototype afin de préparer la mise en œuvre du projet
• Concevoir un processus de collecte et de traitement de données massives en déterminant le référentiel de données, en créant des procédures de sélection et d’extraction de données multiples ainsi que des solutions de stockages afin de préparer le paramétrage des outils d’extraction, de traitement et de chargement
• Elaborer une doctrine de collecte et de traitement des données exhaustive et commune à l’organisation en décrivant les étapes et calculs de traitement et de visualisation des données dans le respect des normes juridiques et des procédures garantissant la sécurité des données et des systèmes afin de réduire les risques juridiques
• Intégrer des donnés à la solution de traitement en extrayant les sources au préalable, en élaborant des circuits automatisant les flux de données et en transformant les données de différentes sources afin de les mettre en forme et les harmoniser avant de les stocker
• Alimenter les environnements de stockage en lançant la procédure de chargement des données et en supervisant son bon fonctionnement afin d’avoir à disposition une base correctement structurée et des données actualisées et exploitables
• Installer et paramétrer des solutions de stockage de données massives en structurant des bases de données NoSQL, en organisant des systèmes de fichiers distribués et de stockage répartis de données afin d’obtenir un environnement de stockage opérationnel et conforme aux spécifications
• Mettre à disposition l’ensemble des données aux Data Scientists ou aux Data Analysts selon un format exploitable en s’appuyant sur les données de référence du système d’information afin de garantir la qualité de données et la consolidation des systèmes de stockage de données sur le cloud au sein de Data Warehouse/Data Lake...

Secteurs d’activités :

Tous les secteurs d’activités sont potentiellement concernés par l’usage de l’intelligence artificielle dès lors que des solutions de résolution de problèmes complexes s’appuyant sur l’informatique font l’objet de projets de développement. L’activité du Data Engineer peut s’exercer au sein d’entreprise utilisatrices, de service de conseils, d’organismes publics ou encore chez des constructeurs informatiques. Ainsi, le professionnel peut évoluer dans des entreprises de taille variable, aussi bien au sein d’un grand groupe qu’au sein d’une PME ou d’un service public. En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges en indépendant : son expertise est couplée avec les missions du Data Scientist et du Data Analyst.

Type d'emplois accessibles :

• Data Ingénieur 
• Ingénieur de données
• Ingénieur Big Data
• Concepteur Big Data
• Data Scientist
• Data Analyst

• Ecole PMN

• Ecole PMN

  1ère habilitation	Début validité	Fin validité
  14/12/2022	14/12/2022	14/12/2025

• 31009 : Architecture système information
• 71654 : Logiciel système gestion bases données
• 31082 : Intégration informatique
• 31025 : Analyse de données

• M1403 - Études et prospectives socio-économiques
• M1802 - Expertise et support en systèmes d'information
• M1805 - Études et développement informatique

• 326 - Informatique, traitement de l'information, réseaux de transmission des données
• 326 - Informatique, traitement de l'information, réseaux de transmission des données
• 326 - Informatique, traitement de l'information, réseaux de transmission des données