DataOps - Concevoir et automatiser des pipelines résilients et scalables

Jour 1

Fondamentaux

• Qu'est-ce qu'une donnée ?
• Evolution des analytiques : des bases relationnelles aux Lakehouses et Data Mesh des pipelines avec la vision
• Stratégie des données, valeur des données, sémantique des données, BPM (Business Process Management)
• Apports des analytiques et du Cloud
• Qu'est-ce qu'une organisation Data Driven ?
• Cycle de vie de la Data, gouvernance et qualité des données
• Lean, Agilité et DevOps appliqués aux données
• Apports du DataOps
• DevOps vs DataOps vs MLOps
• Analytiques et opérations : briser le mur de la confusion
• Constituer et former les Data Teams
• Introduction à Microsoft Azure

Exemple de travaux pratiques (à titre indicatif)

• Mise en pratique : études de cas DataOps

Jour 2

Scoping et définition des éléments des pipelines DataOps

• La stratégie des données, et différence avec les stratégies IT et de gouvernance de données
• Définir la vision
• Déterminer et aligner les objectifs des pipelines avec la vision
• Cartographie de la chaîne de valeur (Value Stream Mapping)
• Processus de développement Agile DataOps : idéation, inception, R&D, transition / production
• Devenir Data Driven

Exemple de travaux pratiques (à titre indicatif)

• Etude de cas : rédiger la stratégie Data d'une entreprise

Jour 3

Produire la valeur

• Planifier les itérations
• Extraire la valeur des données
• Surveiller la qualité avec la MSP (Maîtrise Statistique des Procédés)
• Mesurer les bénéfices
• Animer les rétrospectives et assurer l'amélioration continue

Les technologies DataOps

• Ecosystème des technologies DataOps
• Build vs Buy
• Choisir les bons outils : cartes de Wardley, radar technologique
• Intégration, préparation, traitement et management des données
• Reproductibilité, déploiement, orchestration, et surveillance
• Infrastructure de calcul et moteur d'exécution de requêtes
• Stockage, plateformes et outils d'analytics
• Faire évoluer la pile technologique

Jour 4

Le DataOps Factory

• Importance de la gouvernance des données
• Culture DataOps et conduite du changement
• Centraliser les plateformes
• Tout automatiser
• L'organisation Self-Service

Exemple de travaux pratiques (à titre indicatif)

• Cas pratiques : concevoir la conduite du changement sur des exemples réels

Jour 5

Mise en pratique : construction et amélioration d'un pipeline DataOps

• Conception du workflow
• Création et test des conteneurs
• Automatisation du workflow
• Orchestration des conteneurs avec K8s
• Monitoring des conteneurs
• Résilience et test du pipeline
• Implémentation de GitOps avec Argo CD

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

• En cours de formation, par des études de cas ou des travaux pratiques
• Et, en fin de formation, par un questionnaire d'auto-évaluation