Formation SQL Server Integration Services & Azure Data Factory

Introduction aux ETL SSIS et ADF

Historique des outils ETL
Cadre d’utilisation de SSIS et ADF.
Forces respectives des deux outils

Débuter avec SSIS

Installation de SSIS
Installation des exemples de bases de données
Créer une solution
Créer un projet
Exploration de SSDT
Création d’un package
Mise à niveau de packages vers SSIS
Mise à niveau du modèle de déploiement du projet

Travailler avec les flux de contrôle

Utiliser les contraintes de précédence
Manipuler les tâches de systèmes de fichier
Ecrire une tâche de script personnalisée
Utiliser une tâche d’exécution de requêtes SQL
Utiliser une tâche d’exécution de processus
Utiliser une tâche d’expression
Utiliser une tâche d’envoi de message
Utiliser une tâche FTP
Créer un flux de données

Travailler avec les flux de données

Extraction de données à partir d’une source
Chargement de données vers une destination
Changer le type de données avec la conversion de données
Création et remplacement de colonnes avec la transformation de colonnes dérivées
Travailler avec la transformation d’agrégation
Travailler avec les transformations de tri pour ordonner les données
Joindre les données avec la transformation de recherche
Auditer les données avec la transformation de calcul du nombre de lignes
Combiner des données d’entrées multiples avec la transformation d’union totale
Nettoyer les données avec le composant script
Séparer des données avec la transformation de fractionnement conditionnel
Travailler avec la transformation de commande OLE DB
Travailler avec la transformation de recherche floue
Supprimer les doublons avec la transformation de regroupement probable

Packages dynamiques

Rendre un package dynamique avec les variables
Rendre un package dynamique avec les paramètres
Rendre une connexion dynamique avec les expressions
Rendre une tâche dynamique avec les expressions

Scénarii d’ETL fréquents

Chargement incrémental de données
Utilisation des composants CDC
Création d’un package maitre

Travailler avec les conteneurs

Utiliser un conteneur de séquence pour organiser un package
Utiliser les conteneurs de boucle For pour répéter des tâches de flux de contrôle
Utiliser le conteneur de boucle Foreach pour effectuer une boucle dans une collection d’objets

Configuration des packages

Déploiement avec les tables de configuration
Déploiement avec les fichiers de configuration
Configuration de packages enfants

Résolution de problèmes

Journalisation des données des packages
Utiliser le gestionnaire d’évènements
Résolution d’erreurs
Utiliser une visionneuse de données
Travailler avec les points de rupture

Administrer SSIS

Créer et configurer le catalogue SSIS
Déploiement de packages vers le catalogue
Configuration des packages
Sécurisation des packages
Exécution des packages
Exécution des packages en Transact SQL
Débogage et planification de packages

Présentation et configuration d’Azure Data Factory

ADF remplaçant ou complément de SSIS
Configuration des composants Azure
Les éléments élémentaires d’un traitement ADF
Nouveautés sur les composants Data Flow
Changements pour le développeur
Exemple simple d’utilisation de ADF

Premiers pipelines

Integration Runtimes
Linked Services
Datasets
Triggers
Activities
Paramètres et variables
Data Flows

SSIS dans ADF

Faire tourner des packages SSIS dans ADF
Types de migration SSIS vers ADF
Composants Azure nécessaires
Exemple N°1
Lancement de SSIS dans ADF
Azure Storage Explorer