Ingestion de données avec Kafka

Public admis

  • Salarié en Poste
  • Demandeur d'emploi
  • Entreprise
  • Etudiant

Financements

Eligible CPF Votre OPCO Financement personnel

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
  • Publier et récupérer des données vers un cluster Kafka
  • Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
  • Ecrire des applications de streaming avec Kafka Streams.

M2I


Un leadership dans le domaine de la formation
Voir la fiche entreprise

Tarif

A partir de 1 520,00 €

Durée 2 jours  (14h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

M2I


Un leadership dans le domaine de la formation
Voir la fiche

Tarif

A partir de 1 520,00 €

Durée 2 jours  (14h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

Programme

Jour 1

Apache Kafka, les fondamentaux

  • Plateforme de diffusion d'évènements distribuée
  • L'abstraction des logs dans la diffusion d'évènements distribués
  • Brokers, topics, partitions et segments
  • Enregistrements (alias messages, événements)
  • Politiques de rétention
  • Producteurs, consommateurs et sérialisation
  • La réplication
  • Connexion Kafka

Installation et architecture

  • Installation et options avancées
  • Considération matérielle (hardware)
  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d'écriture et de lecture de Kafka
  • Partitions, consumer groups et scalability
Exemples de travaux pratiques (à titre indicatif)
  • Installation de Kafka
  • Utilisation de Kafka "command line tools"

Producers sous Kafka

  • L'architecture d'un Producers Kafka
  • Le partitionnement basé sur les clés
  • Kafka Acks
  • Configuration des paramètres
  • Créer un fichier "producer.properties" personnalisé
  • Utilisation du Batching

Jour 2

Consumers sous Kafka

  • Les partitions et leurs rôles dans l'évolutivité et la tolérance aux pannes
  • Configuration des consumers
  • Créer un fichier "consumer.properties" personnalisé
  • Utiliser l'API du consommateur pour gérer les décalages
  • Optimiser les requêtes de récupération

Gestion des schémas dans Kafka

  • Introduction à Avro
  • Les schémas Avro
  • Utilisation du Schema Registry

Kafka Streams

  • Les motivations pour Kafka Streams
  • Les fondamentaux de Kafka Streams
  • Exploration d'une application Kafka Streams

Kafka Connect

  • Kafka Connect
  • Les connecteurs couramment utilisés
  • Expliquer les différences entre le mode autonome et le mode distribué
  • Configurer et utiliser Kafka Connect
Exemples de travaux pratiques (à titre indicatif)
  • Produire des données à Kafka et les consommer en temps réel
  • Création d'une application Kafka Streams pour effectuer en temps réel

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation

Prérequis

Avoir des connaissances de développement en Java ou C# ou Python.

Public

Développeurs application, architectes souhaitant créer des applications qui interagissent avec Kafka.

Ces formations pourraient vous intéresser

Objectifs de la formation

  • Etablir le Rapport Social Unique (RSU) et la Base de Données Sociales (BDS).
  • Manipuler l'application de recueil des données.
  • Exploiter les points de contrôles et d'optimisation de la qualité des données.
  • Exploiter les voies d'utilisation du RSU pour piloter les RH dans la fonction publique.
Tarif

A partir de 925,00 €

Durée

1 jour

Modes
  • Centre
  • Entreprise

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Identifier les fonctionnalités et les avantages de VMware Aria Operations for Logs
  • Déterminer quel cluster VMware Aria Operations for Logs répond à vos besoins en matière de surveillance
  • Décrire l'architecture de VMware Aria Operations for Logs
  • Décrire les principales fonctions de l'interface utilisateur de VMware Aria Operations for Logs
  • Déployer et configurer un cluster VMware Aria Operations for Logs
  • Utiliser la page Explore Logs pour comprendre les données des logs
  • Créer et gérer des requêtes
  • Créer des tableaux de bord personnalisés
  • Décrire le contrôle d'accès des utilisateurs
  • Gérer les agents et les groupes d'agents de VMware Aria Operations for Logs
  • Etendre les capacités de VMware Aria Operations for Logs en ajoutant des packs de contenu et en configurant des solutions
  • Intégrer VMware Aria Operations avec VMware Aria Operations for Logs.
Tarif

Contacter l'organisme

Durée

3j / 21h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Protéger vos informations sensibles
  • Planifier et implémenter des stratégies de gestion des enregistrements et du cycle de vie des données pour une organisation
  • Implémenter des techniques de protection contre la perte de données pour sécuriser vos données Microsoft 365
  • Gérer les risques internes et les stratégies de confidentialité à l'aide de la gestion des risques internes Microsoft Purview et de Microsoft Priva
  • Gérer la recherche et les investigations de contenu dans Microsoft 365, notamment sur la façon de rechercher du contenu dans le portail de conformité Microsoft Purview, Microsoft Purview Audit et Microsoft Purview eDiscovery
  • Vous préparer à l'examen "Administrateur Microsoft Information Protection" (SC-400).
Tarif

A partir de 2 680,00 €

Durée

4j / 28h

Modes
  • Centre
  • Distance

Formation SQL Server Administration

Proposé par PLB CONSULTANT

Objectifs de la formation

À l'issue de cette formation Administration SQL, vous aurez acquis les connaissances et compétences nécessaires pour :

  • Installer et configurer SQL Server sous toutes ses versions
  • Assurer sa maintenance et sa supervision
  • Planifier et exécuter les tâches d'administration
  • Créer et structurer une base de données et gérer ses espaces de stockage
  • Effectuer la sauvegarde et la restauration des données
Tarif

A partir de 2 990,00 €

Durée

5j / 35h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

À l'issue de cette formation Dynamics CRM 2016 - Introduction présentation de l'outil vous aurez acquis les connaissances et compétences nécessaires pour : 

  • Découvrir les concepts clés de Microsoft Dynamics CRM 2016
  • Identifier la nature des informations stockées dans l'outil de CRM et savoir les utiliser pour servir les objectifs de son organisation
  • Savoir configurer ses options personnelles
  • Mesurer l’intérêt de Dynamics CRM 2016 pour Outlook et de l’accès en mode hors connexion
  • Comprendre comment rechercher des données Microsoft Dynamics CRM et générer des rapports sur ces données
  • Disposer d’une vision globale de l’outil et identifier ses apports pour l’entreprise
  • Prendre en main les outils Dynamics CRM 2016 pour tablette et téléphone
Tarif

Contacter l'organisme

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Formation PHP

Proposé par Sparks

Objectifs de la formation

  • Comprendre les concepts fondamentaux de PHP
  • Manipuler les variables, les constantes et les types de données en PHP
  • Maîtriser les structures de contrôle (boucles, conditions) et les fonctions
  • Interagir avec des bases de données MySQL à l'aide de PHP
  • Gérer les sessions et les cookies
  • Appliquer les bonnes pratiques de programmation et de sécurité en PHP
Tarif

A partir de 2 400,00 €

Durée

4 jours

Modes
  • Centre
  • Entreprise
  • Distance

Formation Power BI - Avancé

Proposé par PLB CONSULTANT

Objectifs de la formation

Plus concrètement, cette formation Power BI Avancé vous apportera les connaissances et compétences nécessaires pour :

  • Interroger et associer des sources de données hétérogènes
  • Concevoir des mesures, des colonnes et des tables avec le langage DAX (Data Analysis Expressions)
  • Utiliser des éléments visuels pour concevoir des tableaux de bord
Tarif

A partir de 1 480,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Formation Qlik Sense - Data Modeling

Proposé par PLB CONSULTANT

Objectifs de la formation

A l'issue de cette formation, vous aurez acquis les connaissances nécessaires pour :

  • Créer un modèle de données dans Qlik Sense
  • Créer et maintenir des connexions de données
  • Résoudre des problèmes de structure de données et des erreurs de script
  • Transformer les données
  • Gérer les clés synthétiques et les références circulaires
  • Définir les utilisations avancées de l'éditeur de chargement de données
Tarif

A partir de 2 100,00 €

Durée

3j / 21h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

À l'issue de cette formation Azure Cosmos DB, vous aurez acquis les connaissances et compétences nécessaires pour :

  • Apprendre à créer et à configurer le compte d’API SQL, la base de données et le conteneur Azure Cosmos DB
  • Comprendre comment utiliser le kit SDK .Net pour gérer les ressources et effectuer des opérations
  • Être capable d'exécuter des requêtes de complexité variable
  • Savoir concevoir une stratégie de modélisation et de partitionnement des données
  • Pouvoir optimiser les requêtes et les index en fonction des caractéristiques d’une application
  • Apprendre à utiliser Azure Ressource Manager pour gérer les comptes et les ressources avec l’interface CLI ou des modèles JSON et Bicep
Tarif

A partir de 2 590,00 €

Durée

4j / 28h

Modes
  • Centre
  • Entreprise
  • Distance

Formation Le développement Java

Proposé par PLB CONSULTANT

Objectifs de la formation

À l'issue de cette formation Java Développement, vous aurez acquis les connaissances et les compétences nécessaires pour :

  • Maîtriser son environnement de développement (IDE Java)
  • Maîtriser la syntaxe Java
  • Savoir appliquer les concepts de la programmation orientée objet au langage Java (classes, méthodes, encapsulation, héritage, constructeur, polymorphisme, classe abstraite, interfaces, relations entre classes, etc.)
  • Mettre en œuvre les principales fonctions des API standards (Collections, I/O, JDBC, Streams, …)
  • Connaître les spécificités des différentes versions de Java
  • Comprendre le fonctionnement de la JVM
  • Savoir utiliser les API NIO.2 pour manipuler les fichiers, liens symboliques et répertoires
  • Programmer en Java dans le contexte des bases de données relationnelles
  • Développer une application Java multitâches en utilisant les threads
  • Utiliser les expressions lambdas
  • Mettre en œuvre l’API Stream
  • Mettre en œuvre les modules de Java 11
  • Débugger une application
Tarif

Contacter l'organisme

Durée

9j / 63h

Modes
  • Centre
  • Entreprise
  • Distance

Je cherche à faire...