PySpark - Traitement des données
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le principe de fonctionnement de Spark
- Utiliser l'API PySpark pour interagir avec Spark en Python
- Mettre en oeuvre les méthodes de Machine Learning avec la librairie MLlib de Spark
- Traiter les flux de données avec Spark Streaming
- Manipuler les données avec Spark SQL.
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Introduction à Hadoop
- L'ère du Big Data
- Architecture et composants de la plateforme Hadoop
- HDFS
- NameNode / DataNode / ResourceManager
- MapReduce et YARN
Introduction à Spark
- Qu'est-ce que Spark ?
- Spark vs MapReduce
- Fonctionnement
- RDD
- DataFrames
- Data Sets
- Comment interagir avec Spark ?
- PySpark : programmer avec Spark en Python
Installation de Spark
- Sur une infrastructure distribuée
- En local
- En Cloud (présentation avec Amazon AWS et Microsoft Azure)
Jour 2
Spark pour la manipulation des données - PySpark
- Utilisation de SparkSQL et des DataFrames pour manipuler des données
- Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...
- Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Exemple de travaux pratiques (à titre indicatif)
- Chargement et modifications de données avec Spark et PySpark
L'utilisation de spark.ml pour le Machine Learning
- Apprentissage supervisé
- Forêts aléatoires avec Spark
- Mise en place d'un outil de recommandation
- Traitement de données textuelles
- Automatiser vos analyses avec des pipelines
Jour 3
Spark Streaming
- Introduction à Spark Streaming
- La notion de "DStream"
- Principales sources de données
- Utilisation de l'API
- Manipulation des données
Spark SQL
- Initialisation à Spark SQL
- Création de DataFrames
- Manipulation des DataFrames (opérations basiques, agrégations et groupBy, missing data)
- Chargement et stockage de données (avec Hive, JSON...)
GraphX et GraphFrames
- Présentation de GraphX
- Principe de création des graphes
- API GraphX
- Présentation de GraphFrames
- GraphX vs GraphFrames
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
L'objectif de cette formation est de donner aux participants l'autonomie nécessaire pour leurs développements d’applications PHP accédant à un IBM i (AS/400).
| Tarif |
Contacter l'organisme |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
Cette formation au Traitement d'Urgence des Incidents de Sécurité Informatique permet aux équipes informatiques en première ligne d’aborder sereinement un incident de sécurité. Le but est de mettre rapidement les acteurs en situation et de leur présenter des cas d’usages typiques pour que les actions essentielles deviennent des réflexes.
Ce cours dresse un panorama de la cybercriminalité et décrit le déroulement d'une attaque informatique ciblée. Les différentes étapes de l'attaque sont présentées : de la prise d'information jusqu'à la prise totale de contrôle du système d'information de la cible.
À l'issue de ce cours vous aurez acquis les réflexes pour mettre sur les rails un bon traitement d’incident de sécurité.
| Tarif |
Contacter l'organisme |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Prendre des décisions architecturales conformément aux bonnes pratiques et aux principes recommandés par AWS
- Utiliser les services AWS pour rendre votre infrastructure évolutive, fiable et hautement disponible
- Exploiter les services gérés par AWS pour conférer davantage de flexibilité et de résilience à une infrastructure
- Optimiser une infrastructure basée sur AWS afin d'améliorer les performances et de diminuer les coûts
- Utiliser le Well-Architected Framework pour améliorer les architectures existantes grâce aux solutions AWS.
| Tarif |
A partir de 2 445,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire les enjeux de XML
- Concevoir des documents XML
- Valider des données avec une DTD
- Définir un modèle à l'aide d'un schéma XML
- Créer des feuilles de styles XSL.
| Tarif |
A partir de 1 680,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Utiliser le langage Swift
- Identifier les architectures techniques d'un iPhone et d'un iPad
- Utiliser les outils de développement Apple
- Construire une application professionnelle iOS performante
- Rendre une application adaptable aux différentes tailles d'écrans
- Installer, configurer et utiliser des bibliothèques
| Tarif |
A partir de 1 390,00 € |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Adapter sa posture en tant que Product Owner pour faire face aux défis du quotidien
- Mettre en œuvre des pratiques modernes complémentaires au travers de discussions, études de cas et exercices
- Acquérir une compréhension approfondie de la gestion agile de produits
- Distinguer les différentes parties prenantes que le PO représente et savoir comment interagir au mieux avec chacune d'entre elles
| Tarif |
A partir de 1 800,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation BIRT Report Designer, vous aurez acquis les connaissances et compétences nécessaires pour :
- Générer et élaborer des rapports avec l'outil BIRT Designer
- Mettre en forme un rapport (style, police, formatage…)
- Inclure des graphiques, tableaux croisés et sous-rapports à partir de bases de données relationnelles
- Intégrer BIRT au sein d'une application
| Tarif |
A partir de 1 890,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation PHP Sécurité vous aurez acquis les connaissances et compétences nécessaires pour :
- Connaitre les principes de "cookies" et de "Sessions" en PHP
- Savoir sécuriser PHP .ini avec les bons réglages
- Maitriser PHP Object et PHP7
- Protéger ses formulaires
- Connaitre l’accès au réseau par PHP
- Personnaliser la sécurité dans les Frameworks et briques logicielles
- Savoir Sécuriser l'emploi des extensions en PHP
| Tarif |
A partir de 1 860,00 € |
| Durée |
3j / 21h |
| Modes |
|
