Formation - Big Data - Gestion des flux de données avec Apache Nifi

1 - Apache Nifi et la programmation "flow-based"

• Les concepts de programmation "flow-based" et les workflows
• Le projet Open Source Apache Nifi et ses concurrents (Apache Camel, Node-RED, ...)
• L'écosystème Nifi et ses distributions (Hortonworks DataFlow, ...)
• Les fonctionnalités essentielles
• Les pré-requis d'installation et les modes de fonctionnement
• Mise en pratique : installation du produit Apache Nifi et vérification de son fonctionnement

2 - Concepts de base Apache Nifi

• Les cas d'usage d'Apache Nifi : EAI, Big Data, IoT, ...
• Les concepts de FlowFile, de Processor et de Connector
• La prise en main de l'interface Web
• La création d'un flux et son fonctionnement
• Le monitoring
• Mise en pratique: création et exécution d'un flux de manipulation de fichiers avec GetFile, PutFile, ...

3 - Utilisation avancée

• Le format des FlowFiles
• Le langage EL et la gestion de conditions de routage
• Les principaux processeurs et leurs paramètres
• L'utilisation de scripts (Groovy, Python, ...)
• La gestion d'erreurs
• Controller Service, Processor Group et Reporting task
• L'utilisation de templates
• Mise en pratique : réalisation d'un flux conditionnel avec différents systèmes (brokers JMS ou MQTT, BD, ...)

4 - Cluster et Big Data

• Le fonctionnement en cluster avec Zookeeper
• L'intégration dans un environnement Big Data (Hadoop HDFS, Spark)
• Mise en pratique : configuration d'un cluster avec Zookeeper

5 - Extensions

• Les principes de fonctionnement d'un Processor
• Le paramétrage et l'accès aux données d'un flux
• Le packaging d'un Processor dans un NAR
• Mise en pratique : intégration d'un Processor tiers et réalisation d'un nouveau Processor