|
DES RESSOURCES ET DES OUTILS AU SERVICE DES ACTEURS ET DES PROFESSIONNELS. |
Data EngineerDate de mise à jour : 25/04/2025
| Identifiant OffreInfo : 15_705277 |
Carif-Oref Occitanie |
Introduction à la formation
Découvrir le métier de Data Engineer.
Essayer la pédagogie active de Simplon.
Apprendre les bases du développement et de l'algorithme.
Rencontrer les autres personnes de la promotion.
Comprendre les compétences à acquérir et les critères pour obtenir la certification finale
Pendant la formation :
Apprendre des langages de programmation comme Python, Java, ou Scala.
Utiliser des outils Big Data comme Hadoop, Spark, et SQL.
Apprendre sur l'architecture distribuée et le cloud computing.
Phase 1 - Travailler sur des bases de données
Créer et gérer des bases de données pour répondre à des besoins simples.
Participer à la gestion d'un projet data.
Contribuer à la conception et création de bases de données.
Automatiser l'entrée de données dans les bases de données.
Phase 2 - Évolution d'un data warehouse
Travailler sur l'entrepôt de données de l'entreprise.
Automatiser et standardiser les traitements de données.
Connaître les structures de données en faits et dimensions du data warehouse.
Tester l'entrepôt de données en environnement de développement/test.
Intégrer de nouvelles sources de données en ajustant les scripts.
Phase 3 - Évolution d'un data lake
Travailler sur le datalake, qui stocke les données brutes.
Adapter les procédures de collecte automatique de données.
Travailler sur les outils de catalogage de données.
Configurer les droits d'accès.
Phase 4 - Bases de données pour les équipes d'analyse
Créer une base de données pour répondre à un besoin métier.
Identifier les données sources pertinentes.
Concevoir une base de données cible.
Automatiser l'import des données depuis différentes sources.
Développer des points de terminaison d'API et des règles d'autorisation.
Phase 5 - Création d'un data warehouse
Créer un entrepôt de données pour différents usages data.
Cartographier les données collectées par l'entreprise.
Structurer l'entrepôt de données selon les cas d'usage.
Choisir les outils de stockage et d'import.
Maintenir les composants techniques en état de fonctionnement.
Phase 6 - Création d'un datalake
Mettre en place l'architecture et la structure d'un datalake.
Concevoir l'architecture du datalake.
Intégrer les composants d'infrastructure.
Mettre en place un catalogue de données.
Implémenter des règles de gouvernance des données.
Phase 7 - Missions d'étude, conseil, et intégration
Piloter un proje
Certifiante
Bac + 5 et plus
Conventionnement : Non
Autre
Niveau d'entrée : Bac + 2
Afin d'intégrer le dispositif de formation ou pour suivre une formation, le candidat doit :soit être titulaire d'un titre ou d'un diplôme de niveau 5 en informatique avec une expérience professionnelle d'un an minimum dans le secteur des systèmes et réseaux informatiques.soit être titulaire d'un titre ou d'un diplôme de niveau 6 en informatique.Dans le cas où un candidat ne disposerait pas des prérequis définis, il a la possibilité de déposer un dossier de candidature qui sera examiné par une commission en vue d'une admission « exceptionnelle »._Les candidats au parcours devront justifier, par le diplôme ou l'expérience professionnelle, des compétences suivantes :Compétences en gestion de projet :Animer des rendez-vous avec le(s) client(s) afin d'identifier les besoins.Rédiger une réponse technique.Suivre le planning et le respect des contraintes.Assurer le lien entre le client et les équipes pendant toute la durée de conception du projet.Compétences techniques :Installer et gérer des servicessuivi d'une documentation techniqueapplication d'une procéduretest, déploiement, documentation, monitorageProgrammer des scripts d'automatisation dans un langage ou un environnement quelconque (win, unix…)programmation procédurale (sans architecture logiciel)Concevoir et créer des bases de donnéesmodélisation : MERISE, entités-relations, approche orientée requêtes…installation et paramétrage d'un SGBD à partir d'une modélisationMaîtriser SQL (ou équivalent) à un niveau fondamentalCRUD (Create, Read, Update, Delete)Création de table, imports / exports, méta-data…Manipuler des données dans un but de qualification de jeux de donnéesqualification d'un jeu de données (exploitabilité, volume…)conception du formatage des données nécessaire pour répondre à une problématique métier