Spark – Mise en oeuvre des traitements Big Data
Embarquez pour une formation de 3 jours pour maîtriser le développement d’applications avec Apache Spark, un outil clé du Big Data. Explorez le modèle in-memory de Spark, les Resilient Distributed Datasets (RDDs), l’utilisation des dataframes, et la mise en oeuvre du machine learning avec SparkML. Profitez de nos travaux pratiques pour installer votre environnement de développement, effectuer des statistiques sur des données météorologiques, optimiser les RDDs, analyser du texte, exploiter des données en temps réel avec Sqoop et prédire la race d’un chien avec une image. Vous apprendrez à exécuter, tester et optimiser vos applications Spark.
Proposé par
ENI Service
Objectifs pédagogiques
- Développer une application s’appuyant sur Spark
- Connaître les différents concepts sous-jacents et les APIs
- Exécuter, tester, optimiser une application utilisant Spark
- Appréhender les problématiques de machine learning avec SparkML
Programme de la formation
Présentation de Spark
- Spark vs MapReduce
- Le modèle in-memory
- Composants : Jobs, Stages, Tasks
- Les différentes interfaces : API Python, shell, etc.
- Travaux pratiques : installation de l'environnement de développement et manipulation Spark
Resilient Distributed Datasets
- Principe des DAG
- Les transformations : Filter, map, reduce, etc.
- Les actions
- Cache et persistance
- Travaux pratiques : effectuer des statistiques sur des données météorologiques
Dataframes
- Les requêtes
- les formats
- Spark SQL
- Travaux pratiques : optimiser les RDD avec les dataframes
Application : exécution et debug
- CStructure d'une application
- Exécuter une application
- WebUI
- Optimisation
- Travaux pratiques : observer et optimiser l'exécution de l'analyse de texte
Streaming
- Présentation de DStream
- Découverte de Sqoop
- Utilisation de Kafka
- Travaux pratiques : exploiter des données via sqoop en temps réel
SparkML
- Présentation de ML et MLlib
- Composants : Estimators, Transformers, Evaluators
- Pipeline
- Utilisation de Kafka
- Travaux pratiques : Prédire la race d'un chien présent dans une image
Proposé par
ENI Service
"votre centre de formation informatique de confiance"
Proposé par
ENI Service
