Formation Spark SQL
A l'issue de cette formation, les participants sont en mesure de réaliser des analyses de données avec Spark SQL. Ils maîtrisent l'installation et la configuration de l'outil, et sont en mesure de requêter et visualiser des jeux de données dans différents formats.
Proposé par
Sparks
Objectifs pédagogiques
- Installer et configurer Spark SQL
- Réaliser des analyses de données en utilisant Spark SQL
- Requêter des jeux de données dans différents formats
- Visualiser les données et effectuer des requêtes sur les résultats
Programme de la formation
Introduction à la formation Spark SQL
Présentation générale de la formation, objectifs et approche pédagogiques
Les différentes approches pour l’accès aux données avec Spark : Hive, bases de données…
Les fonctionnalités et l’architecture de Spark
Installer Spark et effectuer les configurations de base
Le module Spark SQL : fonctionnalités, intérêt et avantages par rapport à Hive
Principes de fonctionnement et architecture (Data Source API, DataFrameAPI, SQL Service…)
Requêtes, DataFrames et DataSets
Comprendre les DataFrames dans Spark
Le point de départ : SparkSession
Créer des DataFrames
Requêtes SQL de base
Vues temporaires
Créer des DataSets
Exécuter des agrégations, jointures et requêtes imbriquées
Requêtes sur différents types de données
Accéder aux données
Préparer les données
Schémas RDD
Requêter des fichiers JSON, Parquet, CSV…
Troubleshooting
Mise en cache In-Memory
Proposé par
Sparks
"Tout l'IT, vraiment tout"
Proposé par
Sparks
