Data Science avec Spark ML

Jour 1

Introduction au Big Data et à Apache Spark

• Introduction au Big Data
• Les challenges du Big Data
• Notion de pipeline de Machine Learning
• Présentation de Spark
• Atouts de Spark
• Ecosystème Spark
• Spark sur Databricks vs Spark sur Hadoop
• Spark Web UI
• Utilisation de Spark Shell
• Création d'un contexte Spark
• Les exécuteurs Spark
• Chargement d'un fichier en Shell
• Réalisation d'opérations basiques sur un fichier avec Spark Shell

Exemple de travaux pratiques (à titre indicatif)

• Mise en oeuvre de scripts Spark pour l'analyse de données et de Machine Learning

Jour 2

Spark Machine Learning

• Rappels sur le Machine Learning
• Machine Learning dans Spark
• Spark ML API
• DataFrames
• Transformateurs et estimateurs
• Construction, évaluation, et affichage de pipelines dans Spark
• Travailler avec un pipeline
• Sélection de modèles via une validation croisée
• Les types supportés, les algorithmes et les utilitaires
• Les types de données
• Les fonctionnalités d'extraction et les statistiques basiques

Exemples de travaux pratiques (à titre indicatif)

• Création de modèles et de pipelines de Machine Learning avec Spark
• Démonstration de serving d'un modèle avec Neptune et/ou Databricks

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

• En cours de formation, par des études de cas ou des travaux pratiques
• Et, en fin de formation, par un questionnaire d'auto-évaluation