Développeur en intelligence artificielle - data engineer

Objectifs

Notre formation en “Data Engineering” offre aux élèves une vision holistique de l'ensemble des outils les plus performants de la stack de data engineering moderne en Python et SQL.
Ce bootcamp donnera un énorme coup de pouce aux carrière technologique des élèves, en offrant un retour sur investissement rapide:
- Si ils sont déjà développeurs junior, ils pourront rejoindre des postes de *Data Engineer* et travailler main dans la main avec des Data Analysts et des Data Scientists, en devenant des acteurs centraux de tous les projets data de leurs entreprises.
- Si ils sont déjà *Data Scientists*, ils pourront évoluer vers des postes de *Machine-Learning Engineer*
- En fonction de leur séniorité, les métiers de *Head of Data* pourront devenir accessible
- Les entrepreneurs pourront commencer à se projeter en tant que futur *CTO.*

Programme de la formation

Partie I : Prenez en main les principes et outils fondamentaux du Data Engineering.

Créez et configurez votre propre machine learning avec Visual Studio Code.
Apprenez a construire votre premier Data Lake grâce à Google Cloud Storage et mettez en place des transformations de données avec Python.
Découvrez les outils Ruff, Pylint, Github et Poetry et appliquez les techniques CI/CD.
Utilisez Docker pour déployer une application fastAPI.
Partie II : Gestion de bases de données comme un Data Engineer.

Découvrez les compétences clefs en SQL pour le data engineering et prenez en main les outils tels que Fivetran et Airbyte.
Créez un data Warehouse avec Bigquery et configurez le pour votre équipe.
Apprenez a configurer une instance Postgres de 0 et comparez-la à des solutions gérées.
Recourez a Docker Compose pour la configuration locale et le test de configurations complexes.
Partie III :Le stockage de données et batch pipelines

Utilisez Airflow pour ajouter et optimiser des flux ETL.
Créez des pipelines de données avec DBT et organisez vos pipelines en mettant l'accent sur la modularité, les tests et le contrôle des versions.
Apprenez a combiner Airflow et DBT ensemble.
Optimisez les visualisations de données pour les différentes équipes métiers.
Prenez en main Kubernetes pour la mise en place de clusters et comment le déployer sur un cluster de production .
Partie IV : L'industrialisation : Apprenez à gérer des charges de travail et des transferts de données plus importants.

Avec l'aide de PySpark, apprenez la transformer de données à grande échelle.
Découvrez l'implémentation de solution de streaming de données avec Kafka et Pub/Sub.
Transformez vos données de streaming en temps réel avec Apache Beam.
Apprenez a surveiller les solutions de données à mesure que le volume de travail augmente.
Partie V : Réaliser un projet Data Engineering de A à Z

Concevez et construisez un projet de Data Engineering en équipe et à partir de zéro. Intégrez une variété de solutions de la Modern Data Stack. Fournissez des données aux utilisateurs finaux et déployez vos projets en production. Découvrez aussi :
Data Engineering en équipe : processus ADR et gestion des identités et des accès (IAM)
Utilisez Terraform pour créer votre infrastructure
Avantages et inconvénients de GraphDB
Cas d'usages de Document DBs et Wide Column DBs

Validation et sanction

Attestation de formation

Type de formation

Non certifiante

Sortie

Sans niveau spécifique