PySpark - Traitement des données
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le principe de fonctionnement de Spark
- Utiliser l'API PySpark pour interagir avec Spark en Python
- Mettre en oeuvre les méthodes de Machine Learning avec la librairie MLlib de Spark
- Traiter les flux de données avec Spark Streaming
- Manipuler les données avec Spark SQL.
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Introduction à Hadoop
- L'ère du Big Data
- Architecture et composants de la plateforme Hadoop
- HDFS
- NameNode / DataNode / ResourceManager
- MapReduce et YARN
Introduction à Spark
- Qu'est-ce que Spark ?
- Spark vs MapReduce
- Fonctionnement
- RDD
- DataFrames
- Data Sets
- Comment interagir avec Spark ?
- PySpark : programmer avec Spark en Python
Installation de Spark
- Sur une infrastructure distribuée
- En local
- En Cloud (présentation avec Amazon AWS et Microsoft Azure)
Jour 2
Spark pour la manipulation des données - PySpark
- Utilisation de SparkSQL et des DataFrames pour manipuler des données
- Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...
- Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Exemple de travaux pratiques (à titre indicatif)
- Chargement et modifications de données avec Spark et PySpark
L'utilisation de spark.ml pour le Machine Learning
- Apprentissage supervisé
- Forêts aléatoires avec Spark
- Mise en place d'un outil de recommandation
- Traitement de données textuelles
- Automatiser vos analyses avec des pipelines
Jour 3
Spark Streaming
- Introduction à Spark Streaming
- La notion de "DStream"
- Principales sources de données
- Utilisation de l'API
- Manipulation des données
Spark SQL
- Initialisation à Spark SQL
- Création de DataFrames
- Manipulation des DataFrames (opérations basiques, agrégations et groupBy, missing data)
- Chargement et stockage de données (avec Hive, JSON...)
GraphX et GraphFrames
- Présentation de GraphX
- Principe de création des graphes
- API GraphX
- Présentation de GraphFrames
- GraphX vs GraphFrames
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Identifier les principaux composants et la syntaxe de Power FX
- Appliquer les fonctions et les opérations de Power FX dans des scénarios pratiques
- Concevoir des logiques complexes pour la manipulation des données avec Power FX
- Évaluer et optimiser la performance des applications utilisant Power FX
| Tarif |
A partir de 1 300,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Reconnaître et appliquer les différentes fonctionnalités avancées de ce logiciel de dessin pour produire des documents informatiques de vos projets.
| Tarif |
A partir de 1 530,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Examiner tous les aspects spécifiques de la fiscalité viticole : traitement des stocks, des plantations et du bail à métayage
- Envisager les schémas d'optimisation possible pour l'exploitation viticole
- Anticiper les éventuels risques fiscaux afférents à l'activité viticole
| Tarif |
A partir de 1 294,00 € |
| Durée |
1 jour |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le principe d'organisation et de fonctionnement d'une base de données géographique
- Utiliser la base du langage SQL
- Enumérer les caractéristiques des données raster
- Utiliser des requêtes et des géotraitements
- Vous connecter à une base de données et utiliser des données de flux
- Utiliser le modeleur graphique pour créer des traitements automatiques
- Manipuler les données raster.
| Tarif |
Contacter l'organisme |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Manipuler l'ensemble des éléments de l'interface MATLAB
- Utiliser les commandes simples et avancés de MATLAB afin d'écrire des scripts et des fonctions performantes
- Importer, exporter, traiter et afficher des données et des graphes de tous types
- Créer une interface graphique utilisateur pour une application spécifique.
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
Connaître les principes généraux pour la création, la gestion, l'analyse des systèmes d'information| Tarif |
A partir de 1 745,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
Comprendre les principes DevOps - Mettre en place une solution de configuration logicielle basée sur Git - Gérer les versions des projets du dépôt de données - Mettre en œuvre et exploiter un serveur d'inte?gration continue - Ge?rer les interconnexions avec un syste?me de build et de tests| Tarif |
A partir de 2 975,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
| Tarif |
Contacter l'organisme |
| Durée |
Sur mesure, le format est défini avec vous selon les objectifs et le niveau. |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Configurer Spring MVC (Modèle / Vue / Contrôleur)
- Faire interagir des pages JSP (Java Server Pages) avec des contrôleurs Spring
- Valider des formulaires
- Mettre en oeuvre des fonctionnalités d'internationalisation pour adapter votre application à différents langages.
| Tarif |
Contacter l'organisme |
| Durée |
2j / 14h |
| Modes |
|
