Ingestion de données avec Kafka
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
- Publier et récupérer des données vers un cluster Kafka
- Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
- Ecrire des applications de streaming avec Kafka Streams.
| Tarif |
A partir de 1 520,00 € |
| Durée | 2 jours (14h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 1 520,00 € |
| Durée | 2 jours (14h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Apache Kafka, les fondamentaux
- Plateforme de diffusion d'évènements distribuée
- L'abstraction des logs dans la diffusion d'évènements distribués
- Brokers, topics, partitions et segments
- Enregistrements (alias messages, événements)
- Politiques de rétention
- Producteurs, consommateurs et sérialisation
- La réplication
- Connexion Kafka
Installation et architecture
- Installation et options avancées
- Considération matérielle (hardware)
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d'écriture et de lecture de Kafka
- Partitions, consumer groups et scalability
Exemples de travaux pratiques (à titre indicatif)
- Installation de Kafka
- Utilisation de Kafka "command line tools"
Producers sous Kafka
- L'architecture d'un Producers Kafka
- Le partitionnement basé sur les clés
- Kafka Acks
- Configuration des paramètres
- Créer un fichier "producer.properties" personnalisé
- Utilisation du Batching
Jour 2
Consumers sous Kafka
- Les partitions et leurs rôles dans l'évolutivité et la tolérance aux pannes
- Configuration des consumers
- Créer un fichier "consumer.properties" personnalisé
- Utiliser l'API du consommateur pour gérer les décalages
- Optimiser les requêtes de récupération
Gestion des schémas dans Kafka
- Introduction à Avro
- Les schémas Avro
- Utilisation du Schema Registry
Kafka Streams
- Les motivations pour Kafka Streams
- Les fondamentaux de Kafka Streams
- Exploration d'une application Kafka Streams
Kafka Connect
- Kafka Connect
- Les connecteurs couramment utilisés
- Expliquer les différences entre le mode autonome et le mode distribué
- Configurer et utiliser Kafka Connect
Exemples de travaux pratiques (à titre indicatif)
- Produire des données à Kafka et les consommer en temps réel
- Création d'une application Kafka Streams pour effectuer en temps réel
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Créer une cartographie de vos sources de données
- Gérer la continuité de la donnée et des sources de données
- Organiser la structure et l'architecture de vos données d'un point de vue entreprise.
| Tarif |
A partir de 860,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Alimentation de Hive ;
- Créer des tables ;
- Injecter des données ;
- Réaliser des requêtes, mais aussi optimiser les traitements.
| Tarif |
A partir de 1 590,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le principe de fonctionnement de Spark
- Utiliser l'API PySpark pour interagir avec Spark en Python
- Mettre en oeuvre les méthodes de Machine Learning avec la librairie MLlib de Spark
- Traiter les flux de données avec Spark Streaming
- Manipuler les données avec Spark SQL.
| Tarif |
A partir de 2 280,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Administrer et maintenir de bases de données SQL Server
- Assigner les rôles de serveurs et de bases de données
- Autoriser les utilisateurs à accéder aux ressourcessavoir sauvegarder et restaurer des bases de données SQL Server
| Tarif |
A partir de 2 850,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Décrire le fonctionnement de MySQL à des fins d'optimisation ;
- Utiliser des outils d'analyse des performances et les journaux et savoir analyser leurs données ;
- Optimiser le recours à la mémoire ;
- Analyser le plan d'exécution des requêtes afin de les optimiser ;
- Optimiser l'utilisation des index ;
- Utiliser l'ordonnanceur d'événements ;
- Optimiser le partitionnement des tables.
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le positionnement de Spring par rapport à Jakarta JEE
- Créer une architecture en couches
- Mettre en oeuvre la programmation par aspect
- Paramétrer le conteneur léger de Spring et utiliser les annotations
- Accéder à vos données avec Spring JDBC et Spring ORM
- Créer des pages Web avec Spring MVC
- Sécuriser vos applications avec Spring Security
- Décrire les bases de la mise en oeuvre de Spring Boot
- Citer les différences de Spring 5 et 6 ainsi qu'entre Spring Boot 2 et 3
- Migrer une application de Spring 5 à 6.
| Tarif |
A partir de 2 440,00 € |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Identifier les données clés à recueillir dans les domaines du reporting RSE / ESG (social, sociétal, environnemental, économique, gouvernance).
- Documenter sa veille réglementaire et les bonnes pratiques.
| Tarif |
A partir de 1 465,00 € |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Manipuler l'ensemble des éléments de l'interface MATLAB
- Utiliser les commandes simples et avancés de MATLAB afin d'écrire des scripts et des fonctions performantes
- Importer, exporter, traiter et afficher des données et des graphes de tous types
- Créer une interface graphique utilisateur pour une application spécifique.
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Mettre en oeuvre les méthodes de base de l'ETL
- Implémenter un flux de contrôles et de données dans Integration Services
- Déboguer et implémenter la gestion d'erreurs dans Integration Services
- Gérer et sécuriser des packages.
| Tarif |
A partir de 1 340,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Comprendre les éléments et concepts fondamentaux du RGPD et interpréter ses exigences
- Comprendre l'objectif, le contenu et la corrélation entre le Règlement général sur la protection des données et d'autres cadres réglementaires et normes applicables, telles que ISO/IEC 27701 et ISO/IEC 29134
- Acquérir une compréhension approfondie des concepts, des approches, des méthodes et des techniques permettant une protection efficace des données à caractère personnel
- Savoir interpréter les exigences relatives à la protection des données dans le contexte particulier d’un organisme
- Acquérir l’expertise nécessaire pour aider un organisme à planifier, mettre en œuvre, gérer, surveiller et maintenir un cadre de conformité en ce qui concerne le RGPD
- Se préparer pour le passage de l'examen de certification RGPD-CDPO, maintenu par PECB
| Tarif |
A partir de 3 500,00 € |
| Durée |
5 jours |
| Modes |
|
