Expert big data engineer (MS)

L’Expert Big Data Engineer est un professionnel qui a un rôle stratégique dans la manipulation, la gestion et l’analyse des données au sein des organisations. Ce rôle implique une variété de responsabilités, allant de la conception des infrastructures de données à leur optimisation pour soutenir les décisions stratégiques de l’entreprise.

Activités visées :

• Analyse des besoins et des problématiques
• Identification des données de l’organisation
• Formalisation du besoin et des solutions techniques
• Préconisations de stratégies en matière de possession, gestion et transformation des données
• Définition de l’architecture de stockage
• Tests et mise en place de protocoles
• Extraction d’information
• Mise en œuvre de langages et outils de programmation
• Réalisation d’une visualisation dynamique
• Analyse des données et conseil auprès du commanditaire
• Utilisation de données en grande dimension
• Déploiement d’un modèle d’apprentissage en profondeur
• Traitements de volumes de données

• Réaliser un état des lieux de l’outil informatique au sein d’une organisation privée/publique en cartographiant en profondeur l’intégralité du système d’information, en identifiant les éléments clés et les points de vulnérabilité, et en définissant les priorités, afin d’optimiser les performances et la sécurité du système tout en alignant les ressources technologiques avec les objectifs stratégiques de l'organisation
• Analyser les problématiques de structuration de la donnée au sein de d’une organisation privée/publique en mettant en place un déploiement d’une architecture ou d’une structure, en interagissant avec des interlocuteurs différents et concernés par la problématique, afin d’identifier les besoins de l'organisation auxquels il convient d’apporter une réponse
• Animer une réunion avec tous les acteurs principaux et secondaires concernés par une problématique relevant de la donnée, existante ou nouvelle, en tenant compte de l’avis des différents acteurs, en évoquant les pistes de solutions, et en identifiant les besoins d’adaptation de la démarche en raison d’une situation de handicap, afin s’immerger dans l’écosystème de la structure dans lequel on intervient
• Formaliser le besoin émanant de la problématique au sein d’un cahier des charges dans le respect du budget alloué afin de proposer des solutions réalisables et réalistes avec les données et ressources propres possédées
• Concevoir une stratégie Data en réponse aux problématiques identifiées, en proposant une solution technique adaptée aux caractéristiques de l’organisation en termes de serveurs, stockage, mise en réseau, logiciels, et les risques liés à la donnée, afin d'assurer une gestion et une transformation des données sécurisée, conforme aux réglementations et alignée avec les objectifs stratégiques de l'organisation
• Présenter un rapport détaillé de faisabilité en tenant compte des paramètres extérieurs tels que le développement durable, la réglementation en vigueur liée à la confidentialité des données, l’éthique afin de les rendre compatibles avec les contraintes inhérentes à l’organisation
• Préparer la mise en œuvre du projet en identifiant les ressources humaines, matérielles et financières à disposition, en déterminant les besoins manquants, en constituant une équipe projet et en fixant un rétroplanning, afin d'assurer une planification efficace et une exécution réussie du projet
• Identifier la façon dont l’organisation assure le stockage et le format des données internes, structurées ou non structurées, en tenant compte des données manquantes, erronées ou perdues, des différents processus en fonction des pays, des entités qui vont produire les flux de données et de la réglementation en vigueur sur la confidentialité des données (RGPD) afin d’avoir un jeu de données adaptées (ex : Data Frame Python, R/Tibble)
• Réaliser des tests sur les web services, en appliquant des tests de montée en charge de l’outil et sa sécurité, en évaluant la performance et la fiabilité des services, et en analysant le besoin pour déterminer la nécessité d’une API, afin de valider le fonctionnement de l’outil
• Rédiger des protocoles à destination des utilisateurs des web services, et en rédigeant des tutoriels et documents adaptés et en organisant leur diffusion, afin de permettre aux équipes d'utiliser les outils de manière optimale et autonome
• Mettre en œuvre des techniques d’extraction d’information intrinsèque ou par recoupement d’interconnexion en utilisant des outils de visualisation de tendances en grandes dimensions, en mettant en relation différentes bases de données et en actionnant ces bases, afin d'extraire des données pertinentes dans les flux de données
• Analyser les données de manière approfondie en mettant en œuvre des outils de modélisation (régression, réseaux de neurones), des outils de classification (supervisés ou non) et des outils de réduction de dimension (analyse factorielle), afin de tirer des conclusions exploitables pour la prise de décision
• Programmer en utilisant des langages de programmation adaptés à la donnée récoltée au sein de l’organisation et de la donnée provenant de sources extérieures afin de mettre en place des algorithmes gérant le volume important des données
• Réaliser une visualisation dynamique, en choisissant et en utilisant les outils de visualisation avancés adaptés, en respectant les méthodes de représentation graphique, et en prenant les dispositions nécessaires pour permettre l’accessibilité de ces données, notamment en cas de handicap, afin de faciliter la compréhension et l'analyse des données par l'ensemble des utilisateurs
• Réaliser l'analyse et la visualisation spatio-temporelles des données en utilisant des outils de Scalable MultiMedia Analytics, afin de découvrir des phénomènes inconnus, confirmer ou infirmer des hypothèses de travail, et interpréter les graphiques obtenus pour fournir des informations précises et exploitables
• Formaliser des rapports et des conseils stratégiques, économiques et organisationnels en analysant les données visualisées et en interprétant les résultats obtenus, et en établissant des recommandations pertinentes et adaptées aux utilisateurs dédiés, pour optimiser la prise de décision
• Mettre en place un système de gestion des données en anticipant le traitement des données, en agrégeant les données provenant d'autres bases, en normalisant les données et en gérant les valeurs manquantes, afin de permettre une extraction efficace des connaissances sur des jeux de données massives et d'implémenter des outils de classification des données
• Entraîner un algorithme de machine learning en choisissant l'algorithme approprié et en utilisant des jeux de données pertinents, afin de développer des modèles prédictifs et analytiques robustes, capables de fournir des insights précieux pour l'organisation, par exemple en identifiant les liaisons ou les patterns (motifs) entre les nombreuses bases de données relationnelles
• Déployer des modèles de Deep Learning en mettant en place des applications de Deep Learning, en utilisant une interface de programmation (API) dans le web, et en prenant en compte la consommation d’énergie dans le choix des outils ou des prestataires, afin de développer des solutions d'intelligence artificielle efficaces et durables
• Présenter le travail de modélisation en réalisant un tableau de bord, en rédigeant un document écrit et en effectuant une présentation orale, afin de garantir une compréhension claire et approfondie de la démarche de modélisation réalisée
• Assurer le traitement de volumes (gros ou non) de données en sélectionnant et en utilisant un langage de programmation/logiciel dédié gérant des algorithmes, et en optimisant le fonctionnement des algorithmes, afin de permettre à la structure d’opérer plus vite

Secteurs d’activités :

• Assurance et banque
• Industrie X.0 en rapport avec la numérisation des processus (mise en valeur des données de production, de maintenance, de logistique ou financières)
• Services publics (mise en valeur des données de parcours individuels, de maintenance, de logistique ou financières
• Le réseau d’énergie
• Les médias, le marketing, la communication
• La (cyber)sécurité
• La sûreté

 L'Expert Big Data Engineer (MS) peut également exercer en tant que consultant indépendant.

Type d'emplois accessibles :

Data Analyst / Data analyste :

• Consultant Data Analytics
• Data Manager
• Analyste digital customer – Economiste -data analyst
• Analyste de données

Data Architect :

• Data Engineer
• Cloud Data Engineer
• Consultant junior Data Engineer
• Consultant Data/API Management
• Consultant data engineer
• Expert Oracle PLSQL
• Ingénieur data
• Data product owner
• Big data product manager
• MOA (Maîtrise d’Ouvrage)
• Ingénieur en technologie de l’information

Data Scientist :

• Data Scientist
• Data Consultant /Consultant Data
• Ingénieur d’études

• Université de technologie de Troyes (UTT)

• Université de technologie de Troyes (UTT)

  1ère habilitation	Début validité	Fin validité
  28/02/2025	28/02/2025	28/02/2030

• 31023 : Gestion données massives
• 31006 : Sécurité informatique
• 31032 : Système exploitation informatique

• M1801 - Administration de systèmes d'information
• M1802 - Expertise et support en systèmes d'information
• M1803 - Direction des systèmes d'information
• M1805 - Études et développement informatique
• M1806 - Conseil et maîtrise d'ouvrage en systèmes d'information

• 326 - Informatique, traitement de l'information, réseaux de transmission des données