Formation Kafka - Administration
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Kafka Administration, vous serez en mesure de :
- Comprendre les services offerts par une infra Kafka
- Installer un cluster Kafka, utiliser ses commandes en ligne
- Garantir des niveaux de fiabilités sur les topics Kafka
- Sécuriser un cluster Kafka
- Remonter les métriques Kafka dans des outils de visualisation tel que Promotheus/Grafana
- Avoir un panorama des outils d'administration disponibles
| Tarif |
A partir de 2 100,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 100,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Kafka est un système de messagerie distribuée construit pour supporter les flux d’évènements liés au Big Data. Développé initialement par LinkedIn, il est dorénavant distribué en Open Source par la fondation Apache et connaît un fort déploiement en entreprise.
Cette formation Kafka destinés aux administrateurs sysèmes, architectes et toute personne désirant de comprendre en profondeur l'architeture distribuée de Kafa a vocation de vous apprendre à administrer, sécuriser, surveiller un cluster Kafka.
Programme
Introduction
Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
Présentation de l'achitecture et du rôle de chaque composant :
broker, producer, consumer
Liaison avec Zookeeper
Installation
Préconisations d'installation et prérequis
Différentes distribution disponibles
L'ensemble ZooKeeper, rôle, dimensionnement, client
Cluster Kafka,
Configuration d'un broker Kafka, Traces d'un broker, structure de stockage du commit log
Utilitaires fournis par la distribution
Travaux pratiques:
Installation, mise en place de script de démarrage/arrêt d'une architecture cluster Kafka
Création de topic et production/consommation de message les utilitaires
Cas d'usage Kafka
Kafka comme message Broker
Kafka et Kafka Connect traitement d'évènements temps-réel
Kafka, référentiel des données d'entreprise
Travaux pratiques :
Exécution d'applications implémentant les différents cas d'usage
Réplication et fiabilité
Stockage des partitions, segments et rétention
Réplication, leader, followers, ISR
Rôle du contrôleur, Arrêt d’un broker leader, d'un follower. Démarrage d'un nouveau broker
Fiabilité Producteur, Fiabilité consommateur
Sémantiques At Most Once, At Least Once, Exactly Once
Outils de validation d'une garantie de transmission
Administration
Gestion des topics
Gestion du cluster
Politique de rétention
Dimensionnement brokers, partition
Monitoring : Traces, JMX, Grafana
Autres Outils d'administration et surveillance
Sécurité
Alternatives pour la sécurité
Cryptage avec SSL
Authentification SASL
ACLs clients
Intégration avec d'autres systèmes
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
À l'issue de cette formation Spring Kafka, vous aurez acquis les connaissances nécessaires pour :
- Comprendre les concepts cœur de Kafka et les différentes possibilités de configuration vis-à-vis de l’applicatif
- Comprendre les APIs cœur de Kafka
- Savoir développer les différents types d’interaction entre services Spring en utilisant le cluster Kafka
- Écrire des tests d’intégration validant les implémentations
- Mettre en place TLS et les ACLs ur les ressources Kafka
- Développer des applications KafkaStream avec Spring
| Tarif |
A partir de 2 330,00 € |
| Durée |
3j / 21h |
| Modes |
|
Formation Kafka Streams & ksqlDB : Traitement de flux de messages avec Kafka Streams et ksqlDB
Proposé par PLB CONSULTANTObjectifs de la formation
Concrètement à l'issue de cette formation Kafka Streams & ksqlDB vous serez en mesure de :
- Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux
- Appréhender l’offre de ksqlDB
- Développer des micro-services qui transforment, enrichissent, filtrent et agrègent des flux d’événements
- Construire, packager et déployer une application Kafka Streams
- Monitorer une application Kafka Streams
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Identifier les principaux composants et avantages de Kafka
- Installer et configurer Apache Kafka
- Utiliser les APIs pour les producers et consumers
- Mettre en œuvre et administrer Apache Kafka
- Utiliser Kafka Connect pour l'intégration de données
- Appliquer les principes fondamentaux de Kafka Streams
- Assurer la sécurité et l'authentification dans Kafka
- Implémenter et gérer Zookeeper
| Tarif |
A partir de 1 500,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Kafka Flux de données, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre le fonctionnement d’Apache Kafka
- Connaître et mettre en œuvre les bonnes pratiques liées à l’utilisation d’une messagerie distribuée
- Savoir intégrer les flux d’évènements et d’autres données liées au Big Data à Kafka
- Être capable d’interagir avec les APIs de Kafka
- Connaître le fonctionnement et les différences entre KSQL et Kafka Streams
- Savoir intégrer la sécurité au sein d’un projet Apache Kafka
| Tarif |
A partir de 1 995,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Utiliser le style fonctionnel Java pour définir des tâches complexes de traitement des données
- Différencier les API RDD (Resilient Distributed Dataset) et DataFrame
- Utiliser une syntaxe de style SQL pour produire des rapports sur des ensembles de Big Data
- Mettre en place des algorithmes d'apprentissage automatique avec le Big Data et Spark ML (Machine Learning)
- Connecter Spark à Apache Kafka pour traiter des flux de Big Data
- Expliquer comment le streaming structuré peut être utilisé pour construire des pipelines avec Kafka.
| Tarif |
A partir de 2 280,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
À l’issue de cette formation Spring Cloud Stream et Kafka, vous aurez acquis les connaissances et les compétences nécessaires pour :
- Mettre en place l'environnement de développement Spring Cloud Data Stream
- Concevoir une architecture microservices basée sur Kafka et Spring Cloud
- Adopter une programmation fonctionnelle
- Mettre en place une topologie de processeurs Kafka avec SpringBoot
- Surveiller et récolter les métriques d’une telle architecture
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
- Publier et récupérer des données vers un cluster Kafka
- Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
- Ecrire des applications de streaming avec Kafka Streams.
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire l'architecture de NiFi, y compris les configurations autonomes et en cluster
- Naviguer, configurer les flux de données et utiliser les informations sur les flux de données avec l'interface utilisateur NiFi
- Organiser et simplifier les flux de données
- Connecter les flux de données avec d'autres systèmes, tels que Kafka et HDFS.
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Apache Kafka, vous serez en mesure de :
- Comprendre l’architecture en cluster de Kafka
- Différencier ces différents cas d’utilisation
- Utiliser les APIs Kafka de production/consommation de messages
- Utiliser les APIs Kafka Connect/ Kafka Admin
- Aborder les APIs Kafka Stream et le serveur kSQLDB
- Configurer les topics en fonctions des contraintes de fiabilité et de débit de vos applications
| Tarif |
A partir de 2 100,00 € |
| Durée |
3j / 21h |
| Modes |
|
