Formation Apache NiFi
A l'issue de cette formation Apache, les participants seront en mesure d'utiliser Apache NiFi pour créer leurs propres flux de données personnalisés. Ils auront compris l'ensemble des concepts associés à cet outil d'injection de données et pourront travailler efficacement sur les données de leur organisation.
Proposé par
Sparks
Objectifs pédagogiques
- S'approprier les concepts de gestion des flux de données
- Savoir installer et configurer NiFi
- Créer des flux de données entre différents systèmes
- Intégrer Apache NiFi et Apache Kafka
Programme de la formation
Introduction à la formation Apache NiFi : installation et concepts fondamentaux
Généralités sur la gestion des flux de données, les pipelines de données et ETL
Pourquoi utiliser un framework ?
Présentation générale de NiFi : architecture, positionnement et cas d’usages
La programmation basée sur les flux (« flow-based »)
Concepts de base et terminologie : Processors, FlowFile, Connectors…
Composants et fonctionnalités
Installer Apache NiFi
Prise en main de l’interface
Démarrer avec NiFi : création de flux de données
Ajouter et configurer un processor : GetFile
Créer un premier flux avec PutFile et comprendre son fonctionnement
Les différents types de processeurs disponibles
Configurations et connexions
Générer des Flow Files avec GenerateFlowFile et ReplaceText
Utiliser les attributs
Introduction aux variables
Utilisation avancée
Travailler avec des templates NiFi
Expression Langage et conditions de routage
Le format des FlowFiles
Les Controller Services
Les process groups
Debugger NiFi et monitoring
Debugging et gestion des erreurs depuis l’interface
Provenance des données
Surveiller les logs
Intégration avec Apache Kafka
NiFi en producteur de données pour Kafka
NiFi en consommateur de données
Cas d’usages : construire un CDC (Change Data Capture), streaming, récupération de logs…
Proposé par
Sparks
"Tout l'IT, vraiment tout"
Proposé par
Sparks
