Module 1 : Fondamentaux Cloud, Réseau & IAM

IaaS/PaaS/SaaS, régions/zones, VPC/VNet, sous-réseaux, NAT, peering.

Rôles & politiques IAM (moindre privilège).

Choix des services de stockage (objet/bloc/fichier) et patterns Data Lake/Lakehouse.

Pratique / TP : Compte projet, VPC/VNet, IAM, bucket objet, chiffrement KMS.

Livrables : Diagramme d’architecture cible, check-list sécurité d’accès, script IaC minimal.

Objectif : Préparer une landing zone cloud sécurisée pour une plateforme data.

Module 2 : Stockage & Lakehouse

Couches bronze/silver/gold, formats Parquet/Delta/Iceberg, partitioning & Z-Ordering.

Métadonnées & catalogue (Glue/Unity/BigLake).

ACL, gestion des clés, rétention, classes de stockage, pratiques FinOps.

Pratique / TP : Déploiement d’un data lake versionné, conversion Parquet→Delta/Iceberg, catalogage.

Livrables : Politique de sécurité des objets, matrice d’accès par rôle, KPI coût/perf initiaux.

Objectif : Déployer et gouverner un Lakehouse prêt pour l’analytique et le ML.

Module 3 : Pipelines Batch & ELT avec Spark + dbt

Ingestion (batch/CDC), Spark/Databricks pour les gros volumes.

ELT avec dbt (tests, documentation auto, lineage).

Publication vers entrepôts/lakehouse et exposition BI.

Pratique / TP : Pipeline bout-en-bout : ingestion → transformations dbt → dataset analytique.

Livrables : Repo Git jobs, tests dbt, documentation, jeu d’exemples reproductible.

Objectif : Concevoir et industrialiser des pipelines batch fiables et traçables.

Module 4 : Streaming temps réel & systèmes distribués

Kafka/PubSub/Kinesis, schémas Avro/Protobuf, schema registry.

Exactly-once, topics partitionnés, consommateurs stateful, CDC→stream→lakehouse.

Traitements stream (Spark Structured Streaming / notions Flink).

Pratique / TP : Producteur/consommateur, sink vers Delta/Iceberg, rejeu contrôlé.

Livrables : DAG de streaming + playbook d’exploitation (retries, backpressure).

Objectif : Implémenter un pipeline streaming résilient et intégrable au reste de la plateforme.

Module 5 : Conteneurs, Kubernetes & Infrastructure as Code

Docker (images slim, multi-stage, sécurité), Kubernetes (Deployments, StatefulSets, Services, Ingress).

Packaging Helm, secrets, configmaps, volumes.

Terraform pour réseau, stockage, compute, et GitOps (ArgoCD/Flux).

Pratique / TP : Déploiement d’un job Spark, d’un service API et d’un scheduler sur K8s via Helm + Terraform.

Livrables : Manifests K8s, chart Helm, state Terraform, runbook déploiement/rollback.

Objectif : Packager et opérer des composants data sur K8s et déclarer l’infra as code.

Module 6 : Sécurité, Conformité & Data Protection

IAM avancé, chiffrement au repos/en transit, rotation de clés, secrets management.

Journalisation, audits, principes RGPD (minimisation, PIA, DLP).

Segmentation réseau, Zero Trust, durcissement des images.

Pratique / TP : Politique d’accès fine-grained, masquage de colonnes sensibles, alertes d’audit.

Livrables : Politique de sécurité, registre des accès, preuve d’audit, fiche d’impacts privacy.

Objectif : Appliquer une politique de sécurité mesurable et auditable sur la data platform.

Module 7 : CI/CD pour la Data

Git flow, GitHub Actions/GitLab CI/Jenkins, artefacts & versioning.

Tests unitaires/intégration et data quality (Great Expectations, dbt tests).

Stratégies de release, environnements (dev/test/prod), approbations.

Pratique / TP : Pipeline CI/CD qui build/publie images & packages, déploie infra/app, exécute tests data.

Livrables : YAML CI/CD, rapports de tests, badges qualité, changelog versionné.

Objectif : Automatiser le cycle de vie des jobs data & de l’infrastructure, avec qualité embarquée.

Module 8: Orchestration & Automatisation des workflows

Airflow/Prefect/Dagster : DAGs, capteurs, backfills, idempotence, SLA/SLO.

Dépendances, reprise sur incident, notifications.

Design “modulaire” pour la réutilisabilité.

Pratique / TP : DAG de prod end-to-end (batch + stream), calendriers, échecs simulés et stratégies de retry.

Livrables : DAGs versionnés, SLA/SLO définis, journal d’exécution & doc opératoire.

Objectif : Industrialiser et automatiser des workflows data tolérants aux pannes.

Module 9: Observabilité, AIOps & FinOps

Métriques, logs, traces (Prometheus, Grafana, OpenTelemetry).

Tableaux de bord, alerting, runbooks, on-call.

FinOps : tagging, budgets, optimisation coût/perf, rightsizing.

Pratique / TP : Export métriques de pipelines, dashboard SLI/SLO, règles d’alerte et auto-remédiation simple.

Livrables : Tableaux de bord, KPI d’exploitation et de coût, runbooks d’escalade.

Objectif : Piloter la fiabilité et les coûts, et enclencher l’AIOps pour réduire le MTTR.

Module 10: MLOps : du modèle au service

MLflow (tracking, modèles, registry), feature store, packaging (conda/poetry).

Serving (SageMaker/Vertex/KFServing/BentoML), déploiements blue-green/canary.

Monitoring de la dérive (data/model), seuils d’alerte, retrain orchestré.

Pratique / TP : Entraînement traçable, promotion staging→prod, déploiement progressif, détection de drift.

Livrables : Expériences tracées, registre de versions, pipeline CI/CD de modèles + moniteurs.

Objectif : Assurer l’efficacité des processus CI/CD en contexte MLOps : versionner, déployer et superviser des modèles en production.

Module 11: Projet Fil Rouge (MSP) & Soutenance

Plateforme data hybride (on-prem + cloud) : ingestion (CDC + streaming), lakehouse Delta/Iceberg, transformations dbt, exposé BI, déploiement K8s, CI/CD, observabilité/AIOps, mise en prod d’un modèle avec surveillance et retrain.

Pratique / TP : Réalisation du projet intégrateur, démo et soutenance.

Livrables :

Repo Git complet ; dossier d’architecture ; politiques IAM/KMS ; KPI coût/perf/sécurité.

Tableaux de bord (SLI/SLO), alerting, runbooks, rapport FinOps.

Démo & soutenance (30–40 min + Q/R) avec preuves d’audit et plan de rollback.

Objectif : Démontrer de bout en bout l’implémentation et l’automatisation du déploiement d’une solution data sur cloud/on-premise.