Formation - Big Data - L'écosystème centralisé de streaming avec Apache Kafka

1 - Comprendre le fonctionnement de Kafka et les principes de communications inter applications

• Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
• Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
• Liaison éventuelle avec Zookeeper. Impacts

2 - Acquérir les bonnes pratiques de distribution de messages

• Étude de la configuration du broker
Ateliers :

Création d'une configuration multi-broker, démarrage de plusieurs noeuds

Création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer

3 - Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

• Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
• Types de connecteurs
Atelier :

Configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

4 - Appréhender les différentes APIs de Kafka

• Conception d'applications avec Kafka
• Principe de fonctionnement
• Couplage avec SparkStreaming en mode batch, en mode continu
• Principe et architecture de Kafka Streams
Atelier :

Développement de prototypes en Python, Java, Scala

5 - Mettre en oeuvre KSQL

• Conception d'application avec KSQL
• La sur-couche KSQL
• Présentation de ksqlDB
• Création de flux en KSQL
• Les ajouts SQL pour permettre le traitement en flux
• Micro-batchs
• Introduction au water-marking
Atelier :

Mise en oeuvre d'une chaîne de traitement avec KSQL

6 - Travailler en sécurité avec Kafka

• Intégrité et confidentialité : chiffrement SSL et authentification SASL
• Sécurisation de l'infrastructure : Zookeeper, proxy Rest
• Disponibilité : la réplication
• Facteur de réplication
• Partitions
Atelier :

Tests de haute disponibilité dans une configuration multi-noeuds

7 - Exploitation

• Mise en oeuvre de Kafka-tool
• Gestion des logs
• Détection de pannes : méthodes et outils
• Benchmarks