Formation - Big Data - Mise en oeuvre pratique d'une solution complète d'analyse des données
Proposé par
IB Cegos
Prérequis
- Avoir suivi la formation "Big Data - Les fondamentaux de l'analyse de données" (BD540)
- La connaissance d'un langage de programmation et du langage SQL est un plus pour suivre cette formation
- Disposez-vous des connaissances nécessaires pour suivre cette formation ? Testez-vous !
Public admis
- Salarié en Poste
- Entreprise
Demandeur d'emploi et Etudiant non admis
Financement
- Votre OPCO
- Financement personnel
Financement CPF non pris en charge
Modalités
- En entreprise
- À distance
- En centre
Objectifs pédagogiques
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
Programme de la formation
- un quiz de consolidation des pré-requis
1 - Introduction
- Objectifs
- Schématisation du projet
- Écosystème et stack technologique
- Résultats attendus
2 - Ingestion de données massives
- Description
- Caractéristiques clés des outils d'ingestion
- Solutions (packagées, cloud computing et Hadoop)
- Focus Apache NIFI
- Focus Apache KAFKA
- Ingestion de données en streaming NIFI on KAFKA
- Réalisation d'un workflow NIFI d'ingestion de donnée streaming dans HDFS
3 - Traitement de données Big Data en batch
- Diagramme de fonctionnement
- Solutions logicielles associées (MapReduce, Hive, Spark, ...)
- Big Data Batch scripting
- Data Warehousing Big Data
- Création de tables partitionnées, clusterisées et/ou transactionnelles
- Écriture des scripts d'updates des différentes tables
- Analytics Big Data
4 - Traitement avancé Big Data : l'apprentissage machine
- L'écosystème Spark
- Schéma général de création d'un modèle de ML
- Création d'un modèle de clusterisation de données
- Création d'un modèle d'analyse prédictive supervisé
- Enrichissement d'un DWH avec Spark
- Sauvegarde d'un modèle d'apprentissage machine
- Application d'un modèle ML
5 - Stockage de données distribuées
- Principes des bases de donnes distribuées
- Solutions (NoSQL, NewSQL)
- Création d'une base de données distribuée
- Ingestion de données dans une base de données distribuées
- Interrogation d'une base de données distribuées
6 - Automatisation de chaîne de traitement Batch
- L'orchestrateur Oozie
- Ordonnancement de scripts HIVE
- Combinaison avec des scripts SPARK
- Création d'un worklow Oozie complet
7 - Traitement de données massives en flux (streaming)
- Principe de fonctionnement
- Solutions logicielles
- Le prétraitement de données en streaming
- L'inscription de streams à un Hub Streaming
- La consommation de streams auprès d'un Hub
- Le traitement avancé de données en flux (machine learning)
8 - Mise en oeuvre dans une architecture Big Data
- Les approches standards
- Réalisation d'une solution complète de traitement de données type Lamda
- Réalisation d'une solution complète de traitement de données type Kappa
- Un quiz pédagogique pour évaluer vos acquis et approfondir les sujets de votre choix
- Des vidéocasts pour revenir sur les points clés de la formation
- Des vidéos-tutos pour vous accompagner dans l'utilisation des outils du Big Data
Proposé par
IB Cegos
"Formations aux technologies et métiers du Numérique"
Proposé par
IB Cegos
