Formation - Big Data - L'écosystème centralisé de streaming avec Apache Kafka
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
1 - Comprendre le fonctionnement de Kafka et les principes de communications inter applications
- Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
- Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
- Liaison éventuelle avec Zookeeper. Impacts
2 - Acquérir les bonnes pratiques de distribution de messages
- Étude de la configuration du broker
Création d'une configuration multi-broker, démarrage de plusieurs noeuds
Création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer
3 - Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
- Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
- Types de connecteurs
Configuration de connecteurs, ingestion de données, création d'une chaîne de transformation
4 - Appréhender les différentes APIs de Kafka
- Conception d'applications avec Kafka
- Principe de fonctionnement
- Couplage avec SparkStreaming en mode batch, en mode continu
- Principe et architecture de Kafka Streams
Développement de prototypes en Python, Java, Scala
5 - Mettre en oeuvre KSQL
- Conception d'application avec KSQL
- La sur-couche KSQL
- Présentation de ksqlDB
- Création de flux en KSQL
- Les ajouts SQL pour permettre le traitement en flux
- Micro-batchs
- Introduction au water-marking
Mise en oeuvre d'une chaîne de traitement avec KSQL
6 - Travailler en sécurité avec Kafka
- Intégrité et confidentialité : chiffrement SSL et authentification SASL
- Sécurisation de l'infrastructure : Zookeeper, proxy Rest
- Disponibilité : la réplication
- Facteur de réplication
- Partitions
Tests de haute disponibilité dans une configuration multi-noeuds
7 - Exploitation
- Mise en oeuvre de Kafka-tool
- Gestion des logs
- Détection de pannes : méthodes et outils
- Benchmarks
Prérequis
- Posséder des notions d'architectures applicatives en entreprise et des connaissances des protocoles réseaux
- Avoir de bonnes connaissances en Java ou d'un autre langage
- Des connaissances en Spring ou Node.js sont recommandées
Public
- Architectes, chefs de projet, développeurs, équipes DevOps...
Ces formations pourraient vous intéresser
Objectifs de la formation
- Comprendre les principes de développement utiles aux ingénieurs data et data scientists pour faciliter le déploiement de leur code en production
- S’approprier les principales fonctionnalités de Kedro (project template, configuration, data catalog et pipeline)
- Mettre en œuvre l’outil dans un workflow pour créer des pipelines de données
| Tarif |
A partir de 750,00 € |
| Durée |
1 jour |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
- Connaître les opportunités et les solutions Big Data actuelles
- Comprendre les enjeux et les pespectives pour son entreprise
- Pouvoir stocker, traiter, analyser et visualiser les données
- Maîtriser les aspects ethiques et juridiques du Big Data
| Tarif |
A partir de 1 500,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Comprendre le fonctionnement de la data science et de l'intelligence artificielle.
- Connaître les contraintes légales et éthiques de l'intelligence artificielle.
- Maîtriser la démarche d'innovation d'un projet d'intelligence artificielle.
- Maîtriser la démarche de développement agile d'une application d'intelligence artificielle.
| Tarif |
A partir de 4 500,00 € |
| Durée |
7 jours (49 heures) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Identifier les caractéristiques principales de Spark et des Databricks
- Décrire comment les DataFrames sont créées et évaluées dans Spark
- Appliquer les transformations DataFrame pour traiter et analyser les données
- Appliquer le streaming structuré pour traiter les données en continu.
| Tarif |
A partir de 2 280,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Pouvoir mettre en oeuvre une solution d'analyse Big Data
- Comprendre les fondamentaux du Big Data et de son implémentation
- Utiliser les outils pour la collecte, le stockage et le traitement des données
- Savoir analyser les données et faire de la datavisualisation
| Tarif |
A partir de 3 750,00 € |
| Durée |
5 jours |
| Modes |
|
DATA DRIVEN MARKETING Utiliser les données au service de la performance marketing
Proposé par GROUPE ARKESYSObjectifs de la formation
-
Analyser votre audience ;
-
Suivre vos campagnes avec le marquage des URLs ;
-
Mettre en place des rapports ;
-
Analyser la performance de son site Internet ;
-
Mettre en place une démarche Data Driven.
| Tarif |
A partir de 3 100,00 € |
| Durée |
2j / 14h |
| Modes |
|
Formation iPhone / Ipad Avancé - Développement d'application iOS avec Swift et COCOA
Proposé par DAWANObjectifs de la formation
Apprendre à utiliser des fonctionnalités avancées - Gérer les notifications - Utiliser sqlite avec Core Data - Introduire aux outils graphique (Sprite Kit, Métal)| Tarif |
A partir de 2 975,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Expliquer les fondamentaux de SAP BW/4HANA
- Créer et maintenir des fournisseurs de données
- Charger des données de base et des données transactionnelles dans SAP BW/4HANA
- Combiner des flux SAP BW/4HANA avec la modélisation native SAP HANA pour mettre en oeuvre des scénarios mixtes (opérationnel temps réel et Data Warehouse).
| Tarif |
A partir de 4 100,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Reconnaître et utiliser les particularités de TypeScript (les classes, la notion de type, les interfaces...)
- Ecrire une application en TypeScript
- Exploiter l'écosystème de TypeScript
- Identifier les meilleurs IDE (Integrated Development Environment).
| Tarif |
A partir de 2 130,00 € |
| Durée |
3j / 21h |
| Modes |
|
