Formation - Big Data - Mise en oeuvre de traitements avec Spark
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
1 - Introduction
- Présentation de Spark
- Origine du projet
- Apports et principes de fonctionnement
- Langages supportés
- Mise en oeuvre sur une architecture distribuée
- Architecture : clusterManager, driver, worker, ...
2 - Premiers pas
- Utilisation du Shell Spark avec Scala ou Python
- Modes de fonctionnement
- Interprété, compilé
- Utilisation des outils de construction
- Gestion des versions de bibliothèques
- Mise en pratique en Java, Scala et Python
- Notion de contexte Spark
- Extension aux sessions Spark
3 - Règles de développement
- Mise en pratique en Java, Scala et Python
- Notion de contexte Spark
- Différentes méthodes de création des RDD : depuis un fichier texte, un stockage externe
- Manipulations sur les RDD (Resilient Distributed Dataset)
- Fonctions, gestion de la persistance
4 - Cluster
- Différents cluster managers : Spark interne, avec Mesos, avec Yarn, avec Amazon EC2
- Architecture : SparkContext, SparkSession, Cluster Manager, Executor sur chaque noeud
- Définitions : Driver program, Cluster manager, deploy mode, Executor, Task, Job
- Mise en oeuvre avec Spark et Amazon EC2
- Soumission de jobs, supervision depuis l'interface web
5 - Traitements
- Lecture/écriture de données : texte, JSon, Parquet, HDFS, fichiers séquentiels
- Jointures
- Filtrage de données, enrichissement
- Calculs distribués de base
- Introduction aux traitements de données avec map/reduce
6 - Support Cassandra
- Description rapide de l'architecture Cassandra
- Mise en oeuvre depuis Spark
- Exécution de travaux Spark s'appuyant sur une grappe Cassandra
7 - DataFrames
- Spark et SQL
- Objectifs : traitement de données structurées
- L'API Dataset et DataFrames
- Optimisation des requêtes
- Mise en oeuvre des Dataframes et DataSet
- Comptabilité Hive
- Travaux pratiques : extraction, modification de données dans une base distribuée
- Collections de données distribuées
- Exemples
8 - Streaming
- Objectifs , principe de fonctionnement : stream processing
- Source de données : HDFS, Flume, Kafka, ...
- Notion de Streaming
- Contexte, DStreams, démonstrations
- Travaux pratiques : traitement de flux DStreams en Scala
- Watermarking
- Gestion des micro-batches
- Travaux pratiques : mise en oeuvre d'une chaîne de gestion de données en flux tendu (IoT, Kafka, SparkStreaming, Spark)
- Analyse des données au fil de l'eau
9 - Intégration Hadoop
- Rappels sur l'écosystème Hadoop de base : HDFS/Yarn
- Création et exploitation d'un cluster Spark/YARN
- Intégration de données sqoop, kafka, flume vers une architecture Hadoop et traitements par Spark
- Intégration de données AWS S3
10 - Machine Learning
- Fonctionnalités : Machine Learning avec Spark, algorithmes standards, gestion de la persistance, statistiques
- Mise en oeuvre avec les DataFrames
11 - Spark GraphX
- Fourniture d'algorithmes, d'opérateurs simples pour des calculs statistiques sur les graphes
- Travaux pratiques : exemples d'opérations sur les graphes
Prérequis
- Connaissance de Java ou Python
- Avoir suivi le séminaire "Hadoop - Présentation de l'écosystème" (SEM35) ou avoir des bases Hadoop
- Notions de calculs statistiques
Public
- Chefs de projet
- Data Scientists
- Développeurs
Ces formations pourraient vous intéresser
Objectifs de la formation
- Déterminer le périmètre de ses missions
- Analyser les fondamentaux du droit et les bases pratiques du droit des contrats
- Structurer le secrétariat juridique des sociétés commerciales
- Classer et archiver les documents
| Tarif |
A partir de 6 150,00 € |
| Durée |
9 jours |
| Modes |
|
Formation Workshop : Drafting Common Law Contracts in English
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Rappeler les principes précédant à la rédaction de contrats à l'aune du droit anglo-saxon
- Rédiger les clauses essentielles d'un contrat en anglais
- Maîtriser les formules utilisées dans un contrat en anglais
| Tarif |
A partir de 2 036,00 € |
| Durée |
2 jours |
| Modes |
|
Mise en oeuvre d’une plateforme d’Intégration Continue pour optimiser la qualité des développements Java
Proposé par ENI ServiceObjectifs de la formation
- Comprendre la problématique de la complexité des développements logiciels.
- Comprendre le bénéfice de l’intégration continue?pour améliorer la qualité des développements.
- Adopter les bonnes pratiques de rédaction des tests logiciels.
- Créer et exécuter des tests unitaires avec JUnit.
- Créer et exécuter des tests d'intégration avec JUnit, HttpUnit et DbUnit.
- Créer et exécuter des tests fonctionnels sur des applications Web avec la suite d'outils Selenium.
- Mettre en place une stratégie de campagne de tests automatisés avec JUnit et Selenium.
- Travailler avec un gestionnaire de code source tel que Git, et adopter les réflexes du travail collaboratif.
- Utiliser un outil de construction logiciel?tel qu’Apache Maven.
- Comprendre le rôle des différents outils d’une chaine d’intégration continue.
- Mettre en place une plateforme d’intégration continue autour de Jenkins.
| Tarif |
Contacter l'organisme |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Appliquer la méthodologie de planification projet
- Utiliser les fonctions algorithmiques de Project®
- Mettre à jour le planning
- Personnaliser les affichages
- Communiquer sur le projet
| Tarif |
A partir de 1 490,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Installer un cluster Red Hat OpenShift Container Platform et ses processus de mise à jour.
- Résoudre les problèmes de déploiement d'applications.
- Configurer l'authentification à l'aide d'utilisateurs locaux.
- Contrôler l'accès aux projets à partir du contrôle d'accès basé sur les rôles (RBAC).
- Configurer la mise en réseau des services et conteneurs.
- Configurer la planification des pods à l'aide d'étiquettes et de sélecteurs.
- Limiter l'utilisation des ressources de calcul.
- Mettre à l'échelle un cluster.
- Surveiller des événements et alertes de clusters.
| Tarif |
A partir de 3 600,00 € |
| Durée |
5j / 30h |
| Modes |
|
Objectifs de la formation
• Décliner une politique de Ressources Humaines en plans d’action opérationnels RH
• Comprendre les finalités d’un tableau de bord RH en secteur public
• Maîtriser la conception des outils de pilotage de la masse salariale
• Professionnaliser la démarche de gestion des compétences
| Tarif |
A partir de 1 400,00 € |
| Durée |
Nous contacter |
| Modes |
|
Objectifs de la formation
- Analyser les besoins du client
- Choisir les modalités adaptées
| Tarif |
A partir de 100,00 € |
| Durée |
45 minutes |
| Modes |
|
Objectifs de la formation
- Lister les améliorations
- Examiner les outils
- Gérer les étapes de la certification
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
4 jours (28 heures) |
| Modes |
|
Objectifs de la formation
- Identifier les enjeux de la digitalisation
- Manager la transformation digitale
- Accompagner les relations individuelles
- Animer le collectif en digital
- Adapter son management transversal en digital
| Tarif |
A partir de 1 490,00 € |
| Durée |
2 jours |
| Modes |
|
