PySpark - Traitement des données
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le principe de fonctionnement de Spark
- Utiliser l'API PySpark pour interagir avec Spark en Python
- Mettre en oeuvre les méthodes de Machine Learning avec la librairie MLlib de Spark
- Traiter les flux de données avec Spark Streaming
- Manipuler les données avec Spark SQL.
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Introduction à Hadoop
- L'ère du Big Data
- Architecture et composants de la plateforme Hadoop
- HDFS
- NameNode / DataNode / ResourceManager
- MapReduce et YARN
Introduction à Spark
- Qu'est-ce que Spark ?
- Spark vs MapReduce
- Fonctionnement
- RDD
- DataFrames
- Data Sets
- Comment interagir avec Spark ?
- PySpark : programmer avec Spark en Python
Installation de Spark
- Sur une infrastructure distribuée
- En local
- En Cloud (présentation avec Amazon AWS et Microsoft Azure)
Jour 2
Spark pour la manipulation des données - PySpark
- Utilisation de SparkSQL et des DataFrames pour manipuler des données
- Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...
- Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Exemple de travaux pratiques (à titre indicatif)
- Chargement et modifications de données avec Spark et PySpark
L'utilisation de spark.ml pour le Machine Learning
- Apprentissage supervisé
- Forêts aléatoires avec Spark
- Mise en place d'un outil de recommandation
- Traitement de données textuelles
- Automatiser vos analyses avec des pipelines
Jour 3
Spark Streaming
- Introduction à Spark Streaming
- La notion de "DStream"
- Principales sources de données
- Utilisation de l'API
- Manipulation des données
Spark SQL
- Initialisation à Spark SQL
- Création de DataFrames
- Manipulation des DataFrames (opérations basiques, agrégations et groupBy, missing data)
- Chargement et stockage de données (avec Hive, JSON...)
GraphX et GraphFrames
- Présentation de GraphX
- Principe de création des graphes
- API GraphX
- Présentation de GraphFrames
- GraphX vs GraphFrames
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
Maîtriser le développement d'applications mobiles sous iPhone/iPad| Tarif |
A partir de 2 995,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Créer des systèmes de mesure et de contrôle avec LabVIEW
- Savoir installer, configurer et naviguer dans LabVIEW
- Savoir identifier les problèmes, mettre au point des VIs, les développer et les implémenter
- Gérer les données, les fichiers, développer des applications modulaires et acquérir des données
- Savoir contrôler les instruments et les ressources
- Connaître les techniques de développement et savoir utiliser des variables
| Tarif |
A partir de 1 800,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
Connaître les fonctionnalités du langage SQL (langage de requêtes, fonctions…) et comprendre comment manipuler des données avec le langage SQL. Savoir créer et modifier des objets à l’aide de SQL Plus et être en mesure d’assurer la sécurité de l’accès aux données.
| Tarif |
A partir de 1 840,00 € |
| Durée |
3 jour(s) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Appliquer les concepts et méthodes fondamentaux liés aux domaines des technologies de l'information et de la sécurité
- Aligner les objectifs opérationnels globaux de l'organisation avec les fonctions et les mises en oeuvre de la sécurité
- Protéger les actifs de l'organisation au cours de leur cycle de vie
- Exploiter les concepts, principes, structures et normes utilisés pour concevoir, mettre en oeuvre, surveiller et sécuriser les systèmes d'exploitation, les équipements, les réseaux, les applications et les contrôles utilisés pour appliquer divers niveaux de confidentialité, d'intégrité et de disponibilité
- Appliquer les principes de conception de la sécurité pour choisir les mesures d'atténuation appropriées des vulnérabilités présentes dans les types et les architectures de systèmes d'information courants
- Expliquer l'importance de la cryptographie et des services de sécurité qu'elle peut fournir à l'ère du numérique et de l'information
- Evaluer les éléments de sécurité physique par rapport aux besoins des systèmes d'information
- Evaluer les éléments qui composent la sécurité des communications et des réseaux par rapport aux besoins de sécurité de l'information
- Exploiter les concepts et l'architecture qui définissent les systèmes et les protocoles de technologie et de mise en oeuvre associés aux couches 1 à 7 du modèle OSI (Open Systems Interconnection) pour répondre aux besoins de sécurité de l'information
- Déterminer les modèles de contrôle d'accès appropriés pour répondre aux besoins de sécurité de l'entreprise
- Appliquer les modèles de contrôle d'accès physique et logique pour répondre aux besoins de sécurité de l'information
- Différencier les principales méthodes de conception et de validation des stratégies de test et d'audit qui répondent aux exigences de sécurité de l'information
- Appliquer les contrôles et contre-mesures de sécurité appropriés pour optimiser la fonction et la capacité de fonctionnement d'une organisation
- Evaluer les risques liés aux systèmes d'information pour les activités opérationnelles d'une organisation
- Déterminer les contrôles appropriés pour atténuer les menaces et les vulnérabilités spécifiques
- Appliquer les concepts de sécurité des systèmes d'information pour atténuer le risque de vulnérabilité des logiciels et des systèmes tout au long du cycle de vie des systèmes
- Passer l'examen CISSP.
| Tarif |
A partir de 4 250,00 € |
| Durée |
5j / 35h |
| Modes |
|
Formation Masterclass Microsoft Copilot : Apprenez à exploiter toute la puissance de l'IA pour améliorer vos performances et automatiser vos tâches dans Microsoft 365
Proposé par ADALIANCEObjectifs de la formation
- Découvrir l'univers de Microsoft Copilot
- Se familiariser avec l'art de l'interaction avec Copilotx
- Explorer les possibilités d'automatisation et d'optimisation
| Tarif |
Contacter l'organisme |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Familiarisation avec les interfaces Word, Excel, PowerPoint.
- Mise en forme du texte sur Word (taille des caractères, couleurs et surlignage).
- Gestion des documents et utilisation des formules sur Excel.
- Gestion et création des diapositives sur PowerPoint.
- Maîtriser les fonctionnalités de chaque module.
| Tarif |
A partir de 1 500,00 € |
| Durée |
14j / 98h |
| Modes |
|
Objectifs de la formation
Développeurs souhaitant acquérir la syntaxe et les principales fonctionnalités du langage Java et mettre en œuvre les concepts objets avec Java.
À l'issue de la formation, le stagiaire sera capable de :
- Développer des projets Java
| Tarif |
Contacter l'organisme |
| Durée |
5 jour(s) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Identifier les mécanismes du référencement
- Mettre en oeuvre un audit de référencement
- Optimiser votre site et le positionner sur des requêtes pertinentes
- Mettre en place une stratégie de référencement efficace et améliorer le trafic SEO de votre site
- Mesurer l'impact de vos actions.
| Tarif |
A partir de 1 420,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
5 jours (35 heures) |
| Modes |
|
Formation - Les fondamentaux du développement d'interfaces graphiques avec HTML5, CSS3 et JavaScript
Proposé par IB CegosObjectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
5 jours (35 heures) |
| Modes |
|
