Formation - Big Data - Mise en oeuvre de traitements avec Spark
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 3 jours (21 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
1 - Introduction
- Présentation de Spark
- Origine du projet
- Apports et principes de fonctionnement
- Langages supportés
- Mise en oeuvre sur une architecture distribuée
- Architecture : clusterManager, driver, worker, ...
2 - Premiers pas
- Utilisation du Shell Spark avec Scala ou Python
- Modes de fonctionnement
- Interprété, compilé
- Utilisation des outils de construction
- Gestion des versions de bibliothèques
- Mise en pratique en Java, Scala et Python
- Notion de contexte Spark
- Extension aux sessions Spark
3 - Règles de développement
- Mise en pratique en Java, Scala et Python
- Notion de contexte Spark
- Différentes méthodes de création des RDD : depuis un fichier texte, un stockage externe
- Manipulations sur les RDD (Resilient Distributed Dataset)
- Fonctions, gestion de la persistance
4 - Cluster
- Différents cluster managers : Spark interne, avec Mesos, avec Yarn, avec Amazon EC2
- Architecture : SparkContext, SparkSession, Cluster Manager, Executor sur chaque noeud
- Définitions : Driver program, Cluster manager, deploy mode, Executor, Task, Job
- Mise en oeuvre avec Spark et Amazon EC2
- Soumission de jobs, supervision depuis l'interface web
5 - Traitements
- Lecture/écriture de données : texte, JSon, Parquet, HDFS, fichiers séquentiels
- Jointures
- Filtrage de données, enrichissement
- Calculs distribués de base
- Introduction aux traitements de données avec map/reduce
6 - Support Cassandra
- Description rapide de l'architecture Cassandra
- Mise en oeuvre depuis Spark
- Exécution de travaux Spark s'appuyant sur une grappe Cassandra
7 - DataFrames
- Spark et SQL
- Objectifs : traitement de données structurées
- L'API Dataset et DataFrames
- Optimisation des requêtes
- Mise en oeuvre des Dataframes et DataSet
- Comptabilité Hive
- Travaux pratiques : extraction, modification de données dans une base distribuée
- Collections de données distribuées
- Exemples
8 - Streaming
- Objectifs , principe de fonctionnement : stream processing
- Source de données : HDFS, Flume, Kafka, ...
- Notion de Streaming
- Contexte, DStreams, démonstrations
- Travaux pratiques : traitement de flux DStreams en Scala
- Watermarking
- Gestion des micro-batches
- Travaux pratiques : mise en oeuvre d'une chaîne de gestion de données en flux tendu (IoT, Kafka, SparkStreaming, Spark)
- Analyse des données au fil de l'eau
9 - Intégration Hadoop
- Rappels sur l'écosystème Hadoop de base : HDFS/Yarn
- Création et exploitation d'un cluster Spark/YARN
- Intégration de données sqoop, kafka, flume vers une architecture Hadoop et traitements par Spark
- Intégration de données AWS S3
10 - Machine Learning
- Fonctionnalités : Machine Learning avec Spark, algorithmes standards, gestion de la persistance, statistiques
- Mise en oeuvre avec les DataFrames
11 - Spark GraphX
- Fourniture d'algorithmes, d'opérateurs simples pour des calculs statistiques sur les graphes
- Travaux pratiques : exemples d'opérations sur les graphes
Prérequis
- Connaissance de Java ou Python
- Avoir suivi le séminaire "Hadoop - Présentation de l'écosystème" (SEM35) ou avoir des bases Hadoop
- Notions de calculs statistiques
Public
- Chefs de projet
- Data Scientists
- Développeurs
Ces formations pourraient vous intéresser
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Charger et analyser des données de diverses sources avec Hadoop, NiFi, Kafka et Spark
- Restituer ces données avec Kibana.
| Tarif |
A partir de 3 800,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Mettre en oeuvre la construction et la mise en page de longs documents
- Travailler à plusieurs sur un même document
- Diffuser et publier un document.
| Tarif |
Contacter l'organisme |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Identifier les différences culturelles et les enjeux des relations interculturelles
- Expliquer les attitudes favorables à l'adaptation à la diversité culturelle
- Appliquer les codes de communication adaptés aux différentes cultures
- Analyser les différences dans les processus de décision selon les cultures
- Evaluer les avantages et les obstacles dans les réunions multiculturelles
- Concevoir des stratégies pour communiquer efficacement avec des personnes de cultures différentes
- Distinguer les différentes attitudes envers la hiérarchie, le management et la communication relationnelle
- Planifier des rituels relationnels et organisationnels adaptés aux différentes cultures
- Mettre en oeuvre des leviers de motivation pour les travailleurs de cultures différentes
- Elaborer des recommandations pour éviter les erreurs courantes en communication interculturelle.
| Tarif |
A partir de 2 100,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Maîtriser la syntaxe du langage Python
- Acquérir les notions essentielles de la programmation objet
- Connaître et mettre en oeuvre les différents modules Python
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Identifier les lignes directrices de l'ISO 26000
- Découvrir les modalités de mise en oeuvre de la Responsabilité Sociétale des Entreprises (RSE) et des Organisations (RSO) telles que prévues dans la norme ISO 26000
- Identifier des axes de progrès applicables dans votre entreprise
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Formation Recrutement et intégration : analyser les points clés et optimiser sa stratégie
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Examiner les enjeux et les nouvelles obligations légales concernant le recrutement
- Mettre en oeuvre sa stratégie de recrutement et d'onboarding en rapport avec la stratégie de l'entreprise
- Elaborer une politique de recrutement cohérente avec la GEPP et la démarche mobilité de l'entreprise
- Construire sa politique de rémunération à l'embauche
| Tarif |
A partir de 1 772,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Concevoir l'architecture et la mise en œuvre d'une application Web
- Créer des modèles
- Ajouter des contrôleurs à une application MVC
- Utiliser le moteur de routage et créer des routes
- Réaliser des vues avec Razor et créer des Tag Helpers
- Créer des View Component pour favoriser la réutilisation
- Optimiser les applications en réalisant des traitements asynchrones (AJAX)
- Mettre en place des contrôles de validation coté client
- Protéger les pages d’une application en intégrant une couche de sécurité?
- Déployer une application sur un serveur Web
- Concevoir et exécuter des tests unitaires?
- Concevoir et implémenter un service REST
| Tarif |
A partir de 2 850,00 € |
| Durée |
5j / 35h |
| Modes |
|
Formation Sites et sols pollués : maîtriser les outils de gestion
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Distinguer les sites potentiellement pollués et les outils de gestion
- Déterminer les outils nécessaires à une bonne démarche de gestion
- Mettre en oeuvre la démarche d'interprétation de l'état des milieux (IEM) et le plan de gestion (PG)
| Tarif |
A partir de 1 680,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire et mettre en oeuvre les méthodes et techniques sur l'emploi du format PDF
- Contrôler en amont des documents PDF
- Créer et modifier un profil de contrôle
- Utiliser les outils de retouche
- Gérer les scripts d'actions simples
- Mettre en oeuvre Smart Prefligh.
| Tarif |
A partir de 670,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Identifier les éléments clés de l'offre commerciale
- Analyser les besoins des clients et prospects
- Analyser et segmenter la cible et définir le mix produit / marché
- Développer des moyens efficaces pour atteindre chaque segment
- Mettre en oeuvre des actions commerciales stratégiques
- Identifier les ressources humaines à mobiliser pour renforcer la force de vente
- Utiliser des supports et moyens adaptés pour les actions commerciales
- Evaluer et améliorer le positionnement sur le marché
- Optimiser la stratégie commerciale et établir un plan d'actions détaillé
- Mesurer l'efficacité commerciale et ajuster les processus en conséquence.
| Tarif |
A partir de 1 400,00 € |
| Durée |
2j / 14h |
| Modes |
|
