Storm - Flux de données

Introduction

• Présentation de Storm
• Fonctionnalités
• Architecture
• Langages supportés
• Définitions
• Spout
• Bolt
• Topology

Architecture

• Etude des composants d'un cluster Storm
• Master node "Nimbus"
• Worker node
• Positionnement par rapport à un cluster Hadoop
• Le modèle de données
• Différents types de flux

Premiers pas

• Configuration d'un environnement de développement
• Installation d'un cluster Storm

Exemple de travaux pratiques (à titre indicatif)

• Travailler sur le projet storm-starter

Flux de données

• Définition du nombre de flux dans un noeud
• Création de topologies regroupants des flux entre différents noeuds
• Communication entre flux en JSON
• Lecture de flux d'origines diverses
• JMS
• Kafka

Haute disponibilité

• Tolérance aux pannes
• Principe de fiabilisation de master node
• Worker node
• Nimbus
• Garantie de traitement des flux
• Principe
• Paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS et TOPOLOGY_ACKERS
• Traitements temps réel avec Trident
• Elasticité :
• Traitements concurrents dans un cluster Storm
• Ajouts de noeuds
• Commande "Storm rebalance"

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

• Analyse des résultats individuels produits par chaque participant lors des travaux pratiques, correction au fur et à mesure du déroulé de la formation
• Réalisation d'un test complet sur un projet global de fin de formation, et analyse par le consultant formateur
• Un QCM individuel d'évaluation des acquis est proposé en fin de chaque session