Spark Java - Traitement des données
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Utiliser le style fonctionnel Java pour définir des tâches complexes de traitement des données
- Différencier les API RDD (Resilient Distributed Dataset) et DataFrame
- Utiliser une syntaxe de style SQL pour produire des rapports sur des ensembles de Big Data
- Mettre en place des algorithmes d'apprentissage automatique avec le Big Data et Spark ML (Machine Learning)
- Connecter Spark à Apache Kafka pour traiter des flux de Big Data
- Expliquer comment le streaming structuré peut être utilisé pour construire des pipelines avec Kafka.
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Introduction
- Architecture de Spark et les RDD
Installation du Spark
Reduce sur les RDD
Mapping et outputting
- Les opérations de mapping
- Outputting des résultats sur la console
- Compter les éléments du Big Data
- "NotSerializableException" avec Spark
Tuples
- RDD des objets
- Tuples et RDD
Pair RDD
- Vue d'ensemble des Pair RDD
- Construire Pair RDD
- Coder le "reduceByKey"
- Utilisation de l'API Fluent
- Groupement par clé (BY KEY)
FlatMaps et filters
Lecture du disque
Classement des mots-clés en pratique
- Exigences pratiques
- Solution pratique (avec tri)
Tri et coalescence
- Coalesce dans Spark ?
Déploiement vers AWS EMR (Amazon Elastic MapReduce)
- Comment démarrer un cluster Spark pour EMR
- Emballage d'un Spark JAR pour EMR
- Exécuter un travail Spark sur EMR
- Comprendre la sortie de la progression du travail
- Calculer les coûts d'EMR et terminer le cluster
Jointures
- Internes
- Externes de gauche et optionnelles
- Externes à droite
- Complètes et cartésiennes
Exemples de travaux pratiques (à titre indicatif)
- Big Data (grand exercice)
- Présentation des exigences
- Echauffement
- Exigences de l'exercice principal
- Marche à suivre
La performance des RDD
- Transformations et actions
- Le DAG (Directed Acyclic Graph) et Spark UI
- Transformations étroites et larges
- Shuffles
- Gérer les BY KEY
- "map-side-reduces"
- Mise en cache et persistance
Jour 2
Spark SQL : introduction
- Utilisation pratique de Spark SQL
Datasets
- Les bases du Dataset
- Filtrage en utilisant les expressions, lambda et colonnes
SQL : syntaxe
- Utilisation d'une vue temporaire Spark pour SQL
Données en mémoire
Groupements et agrégations
Date Formatting
Multiple Groupings
Ordering
DataFrame API
- SQL vs DataFrame
- Groupement DataFrame
Pivot tables
- Coder Pivot table en Spark
Plus d'agrégations
- Comment utiliser la méthode "agg" en Spark
Exemples de travaux pratiques (à titre indicatif)
- Comment utiliser lambda pour écrire un UDF (User Defined Functions) en Spark
- Utilisation de multiples paramètres d'entrées en Spark UDF
- Utilisation des UDF en Spark SQL
Performance de Spark SQL
- Comprendre le Spark UI pour Spark SQL
- Performances de SQL et de DataFrame ?
- Mise à jour et réglage "spark.sql.shuffle.partitions"
HashAggregation
- Explication des plans d'exécution
- HashAggregation
Performance Spark SQL vs RDD
- Introduction de ML
- Apprentissage supervisé et non-supervisé
- Processus de construction d'un modèle
Régression linéaire
- Introduction
- Programmation des modèles de régression linéaire
- Assemblage des vecteurs des paramètres
- Fitting des modèles
Données d'apprentissage
- Training vs test et holdout Data
- Guide pratique
- Evaluation de la précision des modèles avec R2 et RMSE (Root Mean Square Error)
Paramètres d'ajustement des modèles
- Ajustement des paramètres des modèles de régression linéaire
- Training, test et holdout Data
Sélection des caractéristiques (features)
- Description des caractéristiques
- Corrélation des caractéristiques
- Identification et élimination des caractéristiques dupliquées
- Préparation des données
Données non numériques
- Utilisation "OneHotEncoding"
- Comprendre les Vectors
Pipelines
Cas d'étude
Régression logistique
- True vs false / negatives vs postives
- Implémentation de la régression logistique
Les arbres de décision
- Aperçu des arbres de décision
- Construction du modèle
- Interprétation d'un arbre de décision
- Random Forest
K-means clustering
Jour 3
Spark Streaming et streaming structuré avec Kafka
Introduction au streaming
- DStreams
- Commencer Streaming Job
- Transformations et agrégations streaming
- Spark UI pour les Streaming Jobs
- Traitement des lots
Streaming avec Apache Kafka
- Introduction et installation
- Utilisation du Kafka Event Simulator
- Intégration de Kafka avec Spark
- Utilisation de KafkaUtils pour accéder au DStream
- Ecrire une agrégation Kafka
- Ajouter une fenêtre et "slide interval"
Streaming structuré
- Aperçu du streaming structuré
- Les puits de données
- Les modes de sortie du streaming structuré
- Fenêtres et filigranes
- Batch pour le streaming structuré ?
- Kafka Structured Streaming Pipelines
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Les + de la formation
Le cours comprend :
- un module couvrant Spark ML, un ajout passionnant à Spark qui vous permet d'appliquer des modèles d'apprentissage automatique à vos Big Data ! Aucune expérience mathématiques n'est nécessaire !
- un module complet de 3 heures couvrant Spark Streaming, où vous aurez une expérience pratique de l'intégration de Spark avec Apache Kafka pour gérer les flux de données en temps réel. Nous utilisons à la fois les API DStream et streaming structuré.
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Gérer le contenu d'un site et l'administrer avec Typo3
- Ajouter, supprimer et modifier des pages et des contenus
- Personnaliser le graphique du site
- Intégrer avec une base de données simple
- Administrer les utilisateurs
| Tarif |
A partir de 1 650,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Migration Azure Bonnes Pratiques, vous aurez acquis les connaissances et les compétences nécessaires pour :
- Savoir rappeler les concepts fondamentaux du Cloud Computing et de la virtualisation (notamment les avantages commerciaux du Cloud Computing et les risques associés)
- Maîtriser les services de Microsoft Azure et disposer d'une analyse comparative des différentes options disponibles (serveurs, stockage et BdD)
- Connaître les contraintes des architectures dans le Cloud
- Être capable de concevoir des solutions intégrant des fonctions de sécurité, d'authentification et d'autorisation avec Microsoft Azure
- Savoir identifier les procédures de migration vers le cloud et les bonnes pratiques associées
- Mettre en œuvre des solutions Microsoft Azure tout en optimisant les coûts
| Tarif |
A partir de 1 995,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Reconnaître les mécanismes de sécurité du JDK (Java Development Kit)
- Décrire les principales failles de sécurité applicative
- Distinguer la sécurité applicative de la sécurité système et réseau
- Mettre en oeuvre les principales stratégies de sécurité en Java
- Utiliser JCE (Java Cryptography Extension)
- Authentifier et autoriser l'accès aux composants Java EE
- Créer des tests visant à éprouver la sécurité des applications
- Formuler des exigences de sécurité aux autres corps de métiers.
| Tarif |
A partir de 2 010,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire et utiliser les fonctions de facturation classiques et particulières (annulation, notes de débit / crédit, retours...)
- Créer des documents de facturation
- Utiliser les différentes méthodes de facturation
- Configurer le système pour la gestion de la facturation
- Expliquer les points d'intégration de la facturation avec la comptabilité financière.
| Tarif |
A partir de 1 640,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Identifier les fonctionnalités avancées et complexes de la librairie C++ Qt5.
| Tarif |
A partir de 1 340,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Apprendre à manier Pig, Hive et Impala avec Hadoop
- Savoir explorer Pig, l'utiliser pour traiter les données basiques et complexes
- Analyser les données relationnelles, textuelles et sémantiques avec Hive
- Savoir utiliser Impala pour exlorer, trier, filtrer et analyser les données
- Utiliser efficacement la complémentarité des outils
| Tarif |
A partir de 2 800,00 € |
| Durée |
4 jours |
| Modes |
|
Objectifs de la formation
Plus concrètement, cette formation Autodesk Revit Perfectionnement vous aurez acquis les connaissances et les compétences nécessaires pour :
- Structure un projet BIM en vue de manager un projet
- Maitriser les principes de fonctionnement d’une famille d’objets
- Connaitre les gabarits livrés par défaut
- Savoir quelles sont les options standards par catégorie
- Mettre en oeuvre la modélisation d’un objet
- Maitriser le vocabulaire et les libellés
| Tarif |
A partir de 2 350,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Distinguer les étapes de l'analyse du cycle de vie d'un produit pour déterminer les fluxs et catégories d'impacts à retenir
- Construire sous Excel un premier outil d'analyse du cycle de vie de ses produits
- Élaborer pas à pas une démarche d'écoconception adaptée à sa production et à sa structure
| Tarif |
A partir de 1 790,00 € |
| Durée |
2 jours |
| Modes |
|
Formation Digitalisation et Archivage Électronique - Certified Lead Manager
Proposé par PLB CONSULTANTObjectifs de la formation
Savoir maîtriser un projet de digitalisation et de conservation/archivage de données numériques.
Cette formation Digitalisation et Archivage Électronique Lead Manager vous apporte les compétences et connaissances nécessaires pour :
- Maîtriser les informations et données essentielles à connaître pour aborder un projet de digitalisation avec méthode et efficacité
- Maîtriser les grands principes des techniques de sécurisation des données numériques et les notions de preuves électroniques
- Maîtriser les trois piliers de tout projet de digitalisation que sont la signature électronique, la conservation/archivage de données numériques et la gestion des flux ou cycle de vie des documents numériques
- Maîtriser l’identification des risques d’un projet de digitalisation
- Maîtriser les étapes clés et les bonnes pratiques des projets de digitalisation, y compris les aspects contractuels et l’établissement d’un corpus documentaire juridico-technique
- Maîtriser l’identification des contraintes techniques, économiques, organisationnelles, légales et règlementaires qui portent sur les processus dématérialisés
- Maîtriser des techniques/méthodes permettant de choisir objectivement une solution
| Tarif |
Contacter l'organisme |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
Acquérir les bases de la législation.Acquérir les bases de la physiologie et de la pathologie.
Connaitre les bonnes pratiques de travail devant un ordinateur.
Connaitre les bonnes pratiques pour les métiers comportant du port de charges.
| Tarif |
A partir de 589,00 € |
| Durée |
2j / 14h |
| Modes |
|
