Ingestion de données avec Kafka
Qualiopi
À partir de
1520 €
Durée
14h en 2 jours
Localisation
Partout en France
Proposé par
M2I
Objectifs pédagogiques
A l'issue de cette formation, vous serez capable de :
- Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
- Publier et récupérer des données vers un cluster Kafka
- Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
- Ecrire des applications de streaming avec Kafka Streams.
Programme de la formation
Jour 1
Apache Kafka, les fondamentaux
- Plateforme de diffusion d'évènements distribuée
- L'abstraction des logs dans la diffusion d'évènements distribués
- Brokers, topics, partitions et segments
- Enregistrements (alias messages, événements)
- Politiques de rétention
- Producteurs, consommateurs et sérialisation
- La réplication
- Connexion Kafka
Installation et architecture
- Installation et options avancées
- Considération matérielle (hardware)
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d'écriture et de lecture de Kafka
- Partitions, consumer groups et scalability
Exemples de travaux pratiques (à titre indicatif)
- Installation de Kafka
- Utilisation de Kafka "command line tools"
Producers sous Kafka
- L'architecture d'un Producers Kafka
- Le partitionnement basé sur les clés
- Kafka Acks
- Configuration des paramètres
- Créer un fichier "producer.properties" personnalisé
- Utilisation du Batching
Jour 2
Consumers sous Kafka
- Les partitions et leurs rôles dans l'évolutivité et la tolérance aux pannes
- Configuration des consumers
- Créer un fichier "consumer.properties" personnalisé
- Utiliser l'API du consommateur pour gérer les décalages
- Optimiser les requêtes de récupération
Gestion des schémas dans Kafka
- Introduction à Avro
- Les schémas Avro
- Utilisation du Schema Registry
Kafka Streams
- Les motivations pour Kafka Streams
- Les fondamentaux de Kafka Streams
- Exploration d'une application Kafka Streams
Kafka Connect
- Kafka Connect
- Les connecteurs couramment utilisés
- Expliquer les différences entre le mode autonome et le mode distribué
- Configurer et utiliser Kafka Connect
Exemples de travaux pratiques (à titre indicatif)
- Produire des données à Kafka et les consommer en temps réel
- Création d'une application Kafka Streams pour effectuer en temps réel
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Proposé par
M2I
"Un leadership dans le domaine de la formation"
À partir de
1520 €
Durée
14h en 2 jours
Localisation
Partout en France
Proposé par
M2I
À partir de
1520 €
