Formation - Big Data - L'écosystème centralisé de streaming avec Apache Kafka
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
1 - Comprendre le fonctionnement de Kafka et les principes de communications inter applications
- Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
- Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
- Liaison éventuelle avec Zookeeper. Impacts
2 - Acquérir les bonnes pratiques de distribution de messages
- Étude de la configuration du broker
Création d'une configuration multi-broker, démarrage de plusieurs noeuds
Création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer
3 - Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
- Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
- Types de connecteurs
Configuration de connecteurs, ingestion de données, création d'une chaîne de transformation
4 - Appréhender les différentes APIs de Kafka
- Conception d'applications avec Kafka
- Principe de fonctionnement
- Couplage avec SparkStreaming en mode batch, en mode continu
- Principe et architecture de Kafka Streams
Développement de prototypes en Python, Java, Scala
5 - Mettre en oeuvre KSQL
- Conception d'application avec KSQL
- La sur-couche KSQL
- Présentation de ksqlDB
- Création de flux en KSQL
- Les ajouts SQL pour permettre le traitement en flux
- Micro-batchs
- Introduction au water-marking
Mise en oeuvre d'une chaîne de traitement avec KSQL
6 - Travailler en sécurité avec Kafka
- Intégrité et confidentialité : chiffrement SSL et authentification SASL
- Sécurisation de l'infrastructure : Zookeeper, proxy Rest
- Disponibilité : la réplication
- Facteur de réplication
- Partitions
Tests de haute disponibilité dans une configuration multi-noeuds
7 - Exploitation
- Mise en oeuvre de Kafka-tool
- Gestion des logs
- Détection de pannes : méthodes et outils
- Benchmarks
Prérequis
- Posséder des notions d'architectures applicatives en entreprise et des connaissances des protocoles réseaux
- Avoir de bonnes connaissances en Java ou d'un autre langage
- Des connaissances en Spring ou Node.js sont recommandées
Public
- Architectes, chefs de projet, développeurs, équipes DevOps...
Ces formations pourraient vous intéresser
Objectifs de la formation
Découvrir l'écosystème du langage R - Maîtriser les fondamentaux| Tarif |
A partir de 1 975,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Utiliser les nouvelles fonctionnalités de l'architecture multi-tenant
- Identifier les nouvelles fonctionnalités de la sécurité des base de données et de RMAN
- Distinguer les nouvelles fonctionnalités du Data Warehousing et les améliorations apportées au Sharding.
| Tarif |
A partir de 1 220,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Connaître les opportunités et les solutions Big Data actuelles
- Comprendre les enjeux et les pespectives pour son entreprise
- Pouvoir stocker, traiter, analyser et visualiser les données
- Maîtriser les aspects ethiques et juridiques du Big Data
| Tarif |
A partir de 1 500,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Découvrir les enjeux et les opportunités du Big Data pour les entreprises
- Comprendre l’impact de ces technologies sur la DSI et acquérir les connaissances nécessaires à leur mise en œuvre
- Identifier les opportunités ouvertes par l’Open Data et les APIs d’accès aux données
- Acquérir la perspective nécessaire pour apprécier l’impact socio-économique de ces technologies
| Tarif |
A partir de 1 690,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire les principes d'une base de données
- Identifier l'écosystème FileMaker complet (FileMaker Pro, Server, Go, Cloud, kit iOS, Web...)
- Utiliser avec aisance l'interface et les concepts de base de FileMaker
- Ajouter, modifier, supprimer et rechercher
- Partager, importer et exporter des données.
| Tarif |
A partir de 560,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Identifier les principaux risques touchant les solutions de traitement des données massives
- Décrire le cadre juridique (RGPD)
- Reconnaître les principales solutions techniques de base pour vous protéger des risques : SSO, Kerberos, chiffrement
- Mettre en oeuvre une politique de sécurité pour traiter les risques, les menaces, les attaques
- Sécuriser un cluster Big Data On-Premise ou sur le Cloud.
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le matériel, l'architecture et les éléments logiciels des HPE Alletra 5000
- Lister et comparer les options de gestion des HPE Alletra 5000
- Expliquer la terminologie, les caractéristiques et le flux des opérations lecture / écriture du provisionnement des HPE Alletra 5000
- Décrire l'initialisation des disques HPE Alletra 5000 et le système embarqué Data Services Cloud Console
- Préparer et créer des hosts et des groupes initiateurs pour un disque de stockage HPE Alletra 5000
- Travailler sur les volumes, les collections de volumes et la Quality of Service (QoS)
- Décrire et gérer les snapshots, les clones et les templates de protections
- Décrire le concept, l'utilisation et les bénéfices d'une architecture de stockage HPE Alletra 5000 étendue
- Expliquer les concepts de réplications à distance asynchrones, l'implémentation et les scénarios de panne
- Décrire les concepts de Peer Persistence, l'architecture, les prérequis et le processus Automatic Switchover (ASO)
- Reconnaître les options et les outils de surveillance des HPE Alletra 5000
- Décrire la procédure de mise à jour de l'OS des HPE Alletra 5000.
| Tarif |
A partir de 2 520,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire l'architecture de NiFi, y compris les configurations autonomes et en cluster
- Naviguer, configurer les flux de données et utiliser les informations sur les flux de données avec l'interface utilisateur NiFi
- Organiser et simplifier les flux de données
- Connecter les flux de données avec d'autres systèmes, tels que Kafka et HDFS.
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le rôle stratégique de la valeur des données pour l'entreprise
- Identifier l'environnement réglementaire des données
- Reconnaître les principes et l'organisation de la gouvernance des données
- Décrire les outils et méthodologies utilisés dans la gestion de la qualité des données
- Mettre en place une démarche de mesure de la qualité des données.
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Développer et maintenir un modèle de Machine Learning
- Passer d'un modèle à sa production
- Identifier les acteurs et le coût de l'industrialisation d'un projet Data Science.
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
