Microsoft Azure - Data Engineering

Explorer les options de calcul et de stockage pour les workloads de Data Engineering

• Introduction à Azure Synapse Analytics
• Décrire Azure Databricks
• Introduction au stockage Azure Data Lake
• Décrire l'architecture Delta Lake
• Travailler avec des flux de données en utilisant Azure Stream Analytics

Exécuter des requêtes interactives à l'aide des pools SQL sans serveur Azure Synapse Analytics

• Explorer les capacités des pools SQL sans serveur Azure Synapse
• Interroger des données dans le Data Lake à l'aide des pools SQL sans serveur Azure Synapse
• Créer des objets de métadonnées dans les pools SQL sans serveur Azure Synapse
• Sécuriser des données et gérer des utilisateurs dans les pools SQL sans serveur Azure Synapse

Exploration et transformation des données dans Azure Databricks

• Décrire Azure Databricks
• Lire et écrire des données dans Azure Databricks
• Travailler avec :
• Des DataFrames dans Azure Databricks
• Les méthodes avancées des DataFrames dans Azure Databricks

Explorer, transformer et charger des données dans le Data Warehouse à l'aide d'Apache Spark

• Comprendre l'ingénierie du Big Data avec Apache Spark dans Azure Synapse Analytics
• Ingérer des données avec les notebooks d'Apache Spark dans Azure Synapse Analytics
• Transformer les données avec des DataFrames dans les pools Apache Spark dans Azure Synapse Analytics
• Intégrer des pools SQL et Apache Spark dans Azure Synapse Analytics

Ingérer et charger des données dans le Data Warehouse

• Utiliser les bonnes pratiques de chargement de données dans Azure Synapse Analytics
• Ingérer à l'échelle du pétaoctet avec Azure Data Factory

Transformation des données avec Azure Data Factory ou Azure Synapse Pipelines

• Intégrer des données avec Azure Data Factory ou Azure Synapse Pipelines
• Transformer sans code et à l'échelle avec Azure Data Factory ou Azure Synapse Pipelines

Orchestrer le mouvement et la transformation des données dans Azure Synapse Pipelines

• Orchestrer le mouvement et la transformation des données dans Azure Data Factory

Sécurité end-to-end avec Azure Synapse Analytics

• Sécuriser un Data Warehouse dans Azure Synapse Analytics
• Configurer et gérer les secrets dans Azure Key Vault
• Mettre en oeuvre des contrôles de conformité pour les données sensibles

Prise en charge du traitement analytique transactionnel hybride (HTAP) avec Azure Synapse Link

• Concevoir un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics
• Configuration d'Azure Synapse Link avec Azure Cosmos DB
• Interroger Azure Cosmos DB avec des pools :
• Apache Spark
• SQL sans serveur

Traitement des flux en temps réel avec Stream Analytics

• Mettre en place une messagerie fiable pour les applications Big Data à l'aide d'Azure Event Hubs
• Travailler avec des flux de données à l'aide d'Azure Stream Analytics
• Ingérer des flux de données avec Azure Stream Analytics

Créer une solution de traitement de flux avec Event Hubs et Azure Databricks

• Traiter le flux des données avec le flux structuré d'Azure Databricks

Certification (en option, hors inscription via le CPF)

• Prévoir l'achat d'un voucher en supplément (ne concerne pas les inscriptions via le CPF pour lesquelles la certification est incluse)
• Le passage de l'examen se fera (ultérieurement) dans un centre agréé Pearson Vue
• L'examen (en anglais) s'effectuera en ligne

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

• En cours de formation, par des études de cas ou des travaux pratiques
• Et, en fin de formation, par un questionnaire d'auto-évaluation et/ou une certification éditeur (proposée en option)

Les + de la formation

Un lien URL sera fourni aux stagiaires lors de la formation, afin de récupérer le support.

Le support de cours et les Microsoft Labs Online sont en anglais.