Formation Spark, développer des applications pour le Big Data
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
Plus concrètement, à l'issue de cette formation Spark, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre la philosophie de Spark et ses limites
- Utiliser Spark avec Hadoop
- Développer avec Spark streaming pour de l’analyse de flux en temps réel
- Développer des applications réparties avec Spark (parallélisme sur Cluster)
- Accéder à des données structurées dans vos applications (Spark SQL)
- Découvrir le machine learning avec Spark ML
| Tarif |
A partir de 1 995,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 1 995,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Introduction à Hadoop et son écosystème
Introduction générale à hadoopLa place de mapreduce
Le traitement de données avec Hadoop
Les composants d’un cluster Hadoop
Un système de fichiers distribué (HDFS)
Traitement distribué sur un cluster Hadoop (mapreduce)
Travailler avec Yarn
En quoi Spark complète-t-il Hadoop ?Travaux PratiquesManipulation de fichiers HDFS pour prendre en main l’environnement Hadoop
Exemples de traitement avec mapreduce pour introduire concrètement Spark Streaming
Architecture de Spark
Un framework offrant de nombreux services…… mais pas de stockage (Hadoop, AWS S3, Cassandra, MongoDB, etc.)
Rôle du cœur de Spark (moteur)
RDD, la couche d’abstraction des données (Resilient Distributed Datasets)
Accéder aux données avec Spark SQL
Traiter les données en pseudo temps réel avec Spark Streaming
Développer des applications distribuées de machine learning (Spark MLib)
Quels liens entre Spark et les langages de programmation (Java, Python, R, …) ?
Manipuler les graphes avec GraphX
Limites de SparkTravaux PratiquesQuiz sur le rôle des composants du framework Spark, leurs fonctionnements, et leurs complémentarités
Premiers pas avec la console Spark (scripts simples permettant de manipuler par l’exemple les concepts présentés dans ce chapitre)
Les RDD, structures fondamentales de Spark
Introduction aux RDDLes sources de données de RDD
Créer et sauvegarder des RDD
Les opérations sur les RDD
Écrire et passer des fonctions de transformation
Fonctionnement des transformations de Spark
Les RDD clé-valeur
Map-Reduce : principe et usage dans Spark
Autres opérations sur les RDD de paires
Exécuter des requêtes SQL (Spark SQL)
Interopérabilité avec les RDDTravaux PratiquesTransformer les données avec des RDD
Agrégation de données avec les RDD de paires
Soumissions de travaux
Exécution de requêtes SQLJour 2
Manipuler les données avec les Dataframe et Datasets
Créer des DataFrames depuis diverses sources de donnéesLes schémas des DataFrames
Afficher le Dataframe en mode texte (take)
Visualiser graphiquement le DataFrame (display)
Sauvegarder des DataFrames
Requêter des DataFrames avec des expressions sur les colonnes nommées
Les requêtes de groupement et d’aggrégation
Les jointures
Les différences entre Datasets et DataFrames
Créer des Datasets
Charger et sauvegarder des Datasets
Les opérations sur les Datasets
Conversion entre RDD et DataFramesTravaux PratiquesSynthèse RDD, DataSet, Dataframe :
Analyse du fonctionnement de Spark dans l’exécution de nos requêtes d’extraction de données
Création de dataframe à partir de fichiers CSV et Json, affichage et visualisation
Créer explicitement un DataFrame à partir de RDD
Manipuler des dataframe avec SQL catalyst
Écriture de requêtes SQL
Manipulations de Datasets
Machine learning avec Spark
Introduction au machine learning.Les différentes classes d'algorithmes.
Présentation de SparkML et MLlib.
Implémentations des différents algorithmes dans MLlib.Travaux pratiquesMise en œuvre d’apprentissage supervisé au travers d’une classification.Jour 3
Analyser en temps réel avec Spark Streaming
Comprendre l’architecture du streaming.Présentation des Discretized Streams (DStreams).
Les différents types de sources.
Manipulation de l'API (agrégations, watermarking...).
Machine Learning en temps réel.Travaux pratiquesCréation de statistiques en temps réel à partir d’une source de données et prédictions à l’aide du machine learning vu dans le TP précédent.
Écriture d'une application compilée
Écrire, configurer et lancer des applications sparkÉcrire une application Spark
Compiler et lancer une application
Le mode de déploiement d’une application
L’interface utilisateur web des applications Spark
Configurer les propriétés d’une applicationTravaux pratiquesDéploiement d’une application Spark
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
• S’initier aux méthodes et concepts fondamentaux du travail collaboratif et de l'efficacité collective
• Comprendre, concevoir, organiser, animer un espace collaboratif
• Identifier les outils collaboratifs et les adapter à son environnement de travail
| Tarif |
A partir de 1 400,00 € |
| Durée |
Nous contacter |
| Modes |
|
Objectifs de la formation
- Comprendre le fonctionnement d'un système Linux
- Comprendre le déroulement d'une session
- Savoir utiliser son poste de travail sous Linux
- Gérer les fichiers et les applications associées
- Configurer et installer Linux en réseau local
| Tarif |
A partir de 1 850,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Master Data Management, vous aurez acquis les connaissances et compétences nécessaires pour :
- Appréhender l’écosystème de la donnée de référence au sein du SI
- Comprendre les données de référence et leurs enjeux pour l’entreprise (Master Data)
- Appréhender l’impact des nouvelles architectures de données et du Big Data sur le Master Data
- Décrire les technologies et les outils de MDM (Master Data Management)
- Comprendre le rôle de la gouvernance des données et des différents acteurs
- Démarrer un projet de référentiel SI en respectant les bonnes pratiques et avec les bons outils
| Tarif |
A partir de 2 120,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Apprendre à développer avec Azure DevOps
- Maîtriser la planification Agile
- Configurer un environnement de build moderne, automatiser les builds
- Gérer la qualité du code, créer des pipelines et release automatisés
- Automatiser les tests fonctionnels et de performance
- Gérer Azure Resource Manager (ARM), surveiller des applications avec Application Insights
- Créer des tableaux de bord pour les stats de build et release
| Tarif |
A partir de 1 950,00 € |
| Durée |
3 jours |
| Modes |
|
Formation Traitement des données personnelles du cabinet d'avocats
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Intégrer les enjeux techniques et économiques liés à la mise en conformité en matière de données personnelles
- Délimiter le cadre juridique en matière de traitement des données personnelles
- Déployer une démarche globale de mise en conformité
| Tarif |
A partir de 1 090,00 € |
| Durée |
1 jour |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation Delphi Programmation vous aurez acquis les connaissances et compétences nécessaires pour :
- Connaître le panorama complet des domaines d'applications Delphi, grâce à un projet
- Connaître les différents champs d'application
- Connaître les aspects les plus récents comme la programmation d'applications FMX en 3D, les applications pour tablettes et les architectures multi-tiers basées sur DataSnap
| Tarif |
Contacter l'organisme |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Télécoms, vous aurez acquis les connaissances et compétences nécessaires pour :
- Connaître les différentes normes utilisées en Télécom
- Connaître les principes d'architecture
- Disposer d'une vue d'ensemble des principaux équipements
- Connaître les services et les applications téléphoniques
| Tarif |
A partir de 1 630,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Introduction Cisco Data Center Initiation, vous serez à même de :
- Décrire les fondements de la mise en réseau des centres de données.
- Décrire les produits Cisco Nexus et expliquer les fonctionnalités et outils de base de Cisco NX-OS
- Décrire la redondance de premier saut de couche 3
- Décrire la connectivité Cisco Fabric Extender (FEX)
- Décrire les canaux de port Ethernet et les canaux de port virtuel (VPC)
- Présenter la virtualisation des commutateurs, la virtualisation des machines et la virtualisation des réseaux.
- Comparer les options de connectivité de stockage dans le centre de données
- Décrire la communication Fibre Channel entre le serveur initiateur et le stockage cible
- Décrire les types de zones Fibre Channel et leur utilisation
- Décrire la virtualisation de N-Port (NPV) et la virtualisation d'identifiant de N-Port (NPIV).
- Décrire les améliorations apportées à l'Ethernet des centres de données pour obtenir une structure sans perte.
- Description de Fibre Channel over Ethernet FCoE
- Décrire la connectivité des serveurs de centres de données
- Décrire Cisco UCS Manager
- Décrire le but et les avantages des API
- Décrire Cisco ACI
- Décrire les concepts de base du cloud computing
| Tarif |
A partir de 4 090,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
Le framework open-source Ionic permet de construire des applications mobiles multiplateformes (iOS, Android) en utilisant les technologies standard du web comme HTML, CSS, JavaScript. Positionné UX, Ionic dispose, en plus de son interface de ligne de commande (CLI), de nombreuses bibliothèques telles que des outils d'interaction (alertes, icônes, gestuelle...), de graphismes personnalisables et permet de créer des API.
Cette formation Ionic vous apprend à utiliser Ionic pour créer des applications multiplateformes.
| Tarif |
A partir de 2 175,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
Cette formation vise à vous doter des compétences de base du management pour piloter efficacement votre équipe. Vous apprendrez à adopter les bonnes pratiques et à développer les qualités essentielles d'un manager performant.
(accompagnement individuel sur mesure. Les heures d'accompagnement ne seront pas nécessairement consécutives, mais peuvent être réparties selon votre convenance).
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
