Formation Spark, développer des applications pour le Big Data
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
Plus concrètement, à l'issue de cette formation Spark, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre la philosophie de Spark et ses limites
- Utiliser Spark avec Hadoop
- Développer avec Spark streaming pour de l’analyse de flux en temps réel
- Développer des applications réparties avec Spark (parallélisme sur Cluster)
- Accéder à des données structurées dans vos applications (Spark SQL)
- Découvrir le machine learning avec Spark ML
| Tarif |
A partir de 1 995,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 1 995,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Introduction à Hadoop et son écosystème
Introduction générale à hadoopLa place de mapreduce
Le traitement de données avec Hadoop
Les composants d’un cluster Hadoop
Un système de fichiers distribué (HDFS)
Traitement distribué sur un cluster Hadoop (mapreduce)
Travailler avec Yarn
En quoi Spark complète-t-il Hadoop ?Travaux PratiquesManipulation de fichiers HDFS pour prendre en main l’environnement Hadoop
Exemples de traitement avec mapreduce pour introduire concrètement Spark Streaming
Architecture de Spark
Un framework offrant de nombreux services…… mais pas de stockage (Hadoop, AWS S3, Cassandra, MongoDB, etc.)
Rôle du cœur de Spark (moteur)
RDD, la couche d’abstraction des données (Resilient Distributed Datasets)
Accéder aux données avec Spark SQL
Traiter les données en pseudo temps réel avec Spark Streaming
Développer des applications distribuées de machine learning (Spark MLib)
Quels liens entre Spark et les langages de programmation (Java, Python, R, …) ?
Manipuler les graphes avec GraphX
Limites de SparkTravaux PratiquesQuiz sur le rôle des composants du framework Spark, leurs fonctionnements, et leurs complémentarités
Premiers pas avec la console Spark (scripts simples permettant de manipuler par l’exemple les concepts présentés dans ce chapitre)
Les RDD, structures fondamentales de Spark
Introduction aux RDDLes sources de données de RDD
Créer et sauvegarder des RDD
Les opérations sur les RDD
Écrire et passer des fonctions de transformation
Fonctionnement des transformations de Spark
Les RDD clé-valeur
Map-Reduce : principe et usage dans Spark
Autres opérations sur les RDD de paires
Exécuter des requêtes SQL (Spark SQL)
Interopérabilité avec les RDDTravaux PratiquesTransformer les données avec des RDD
Agrégation de données avec les RDD de paires
Soumissions de travaux
Exécution de requêtes SQLJour 2
Manipuler les données avec les Dataframe et Datasets
Créer des DataFrames depuis diverses sources de donnéesLes schémas des DataFrames
Afficher le Dataframe en mode texte (take)
Visualiser graphiquement le DataFrame (display)
Sauvegarder des DataFrames
Requêter des DataFrames avec des expressions sur les colonnes nommées
Les requêtes de groupement et d’aggrégation
Les jointures
Les différences entre Datasets et DataFrames
Créer des Datasets
Charger et sauvegarder des Datasets
Les opérations sur les Datasets
Conversion entre RDD et DataFramesTravaux PratiquesSynthèse RDD, DataSet, Dataframe :
Analyse du fonctionnement de Spark dans l’exécution de nos requêtes d’extraction de données
Création de dataframe à partir de fichiers CSV et Json, affichage et visualisation
Créer explicitement un DataFrame à partir de RDD
Manipuler des dataframe avec SQL catalyst
Écriture de requêtes SQL
Manipulations de Datasets
Machine learning avec Spark
Introduction au machine learning.Les différentes classes d'algorithmes.
Présentation de SparkML et MLlib.
Implémentations des différents algorithmes dans MLlib.Travaux pratiquesMise en œuvre d’apprentissage supervisé au travers d’une classification.Jour 3
Analyser en temps réel avec Spark Streaming
Comprendre l’architecture du streaming.Présentation des Discretized Streams (DStreams).
Les différents types de sources.
Manipulation de l'API (agrégations, watermarking...).
Machine Learning en temps réel.Travaux pratiquesCréation de statistiques en temps réel à partir d’une source de données et prédictions à l’aide du machine learning vu dans le TP précédent.
Écriture d'une application compilée
Écrire, configurer et lancer des applications sparkÉcrire une application Spark
Compiler et lancer une application
Le mode de déploiement d’une application
L’interface utilisateur web des applications Spark
Configurer les propriétés d’une applicationTravaux pratiquesDéploiement d’une application Spark
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
Cette formation Sencha Touch 2 vous permettra de réaliser des applications ou des sites WEB pour iPhone, iPad, Android, Blackberry, etc. en utilisant uniquement des technologies standards comme HTML, CSS, et JavaScript qui vous rendent indépendant du navigateur ou du type d'équipement mobile. La richesse des composants graphiques de Sencha Touch 2 permet de développer de véritables applications avec un rendu très riche en un minimum de temps. Ces composants sont conçus et optimisés pour les équipements mobiles.Ils tirent pleinement profit des possibilités du HTML 5. Sencha Touch propose des API pour accéder aux événements bas niveaux des équipements mobiles (accéléromètre, géo-localisation, etc.) et vous ouvre les voies du développement natif pour tirer pleinement profit de leurs possibilités. Vous pourrez utiliser PhoneGap ou un composant natif de Sencha Touch pour déployer vos applications sur App Store ou Android Market. Enfin, le framework Sencha Touch 2 a adopté le modèle MVC et vous permet ainsi de professionnaliser le développement pour mobiles en respectant ce standard de fait.
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Citrix ShareFile Entreprise Essentials, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre « Entreprise File Synchronisation and Sharing »
- Comprendre l’architecture de ShareFile
- Naviguer dans l’interface de management de ShareFile
- Créer des Storages Zones
- Gérer des utilisateurs ShareFile en utilisant un environnement Active Directory
- Déployer des clients ShareFile sur des Windows physiques et virtuelles
- L’intégrer avec Microsoft Outlook avec le plug-in ShareFile
- Monitorer et dépanner une solution ShareFile
| Tarif |
Contacter l'organisme |
| Durée |
2j / 14h |
| Modes |
|
Cycle certifiant : Concevoir et piloter une stratégie de marketing et communication digitale à l'ère de l'IA
Proposé par COMUNDIObjectifs de la formation
- Identifier les facteurs clés de succès et analyser les écueils à éviter en termes de stratégie marketing et de communication digitale
- Analyser la pertinence et le retour sur investissement des leviers digitaux déjà exploités et identifier des axes d’amélioration.
- Concevoir une stratégie différenciante et personnalisée
- Piloter la conception ou refonte de sites ou applications optimisés pour le référencement naturel et centrés utilisateurs
- Définir la stratégie de messages créatifs à diffuser sur différents leviers digitaux pour la mise en œuvre de campagnes de communication (réseaux sociaux, affiliations, achats de mots clés, emails marketing, epub, social ads, …)
- Piloter un projet de marketing et communication digital en contribuant au cahier des charges, en sélectionnant et en briefant des experts du digital, en anticipant la mesure de performance et en évaluant le budget nécessaire
| Tarif |
A partir de 6 495,00 € |
| Durée |
91h de synchrone + 5h d'e-learning + travail personnel pour les évaluations |
| Modes |
|
Objectifs de la formation
Le langage Transact-SQL (T-SQL) est un langage propre à Microsoft qui permet de développer des programmes - ou plus souvent des procédures et des fonctions - de haut niveau pour manipuler les données d’une base SQL Server. Il s’appuie sur le langage SQL qu’il complète avec toutes les structures de programmation classique (variables, tests, boucles, fonctions, bibliothèques, etc.). Le T-SQL présente des spécificités pour « coller » facilement aux structures de données que l’on rencontre dans une base SQL Server (table, ligne, colonne).
Les procédures de traitement des données (insertion, extraction mise à jour, suppression) peuvent être stockées dans la base (procédures stockées,fonctions, …) et appelées par différents programmes depuis différents langages (C#, VB.Net, Java, PHP, etc...). Le Transact-SQL sert également de base à l’écriture des triggers (programmes qui se déclenchent quand des événements surviennent telle une insertion dans une table, une mise à jour, une suppression). Bien entendu, le développement de programmes Transact-SQL sert à la fois aux développeurs mais aussi à l’administrateur qui souhaite automatiser certaines actions d’administration ou simplement disposer d’outils pour suivre l’exploitation des bases SQL Server qu’il administre.
Tous ces éléments conceptuels et syntaxiques vous seront présentés afin que vous puissiez vous-même développer vos propres traitements Transact-SQL (procédures stockées, fonctions, triggers) de façon fiable, robuste et efficace. Les travaux pratiques s'attachent à vous donner des « squelettes » toujours réutilisables dans votre contexte professionnel.
| Tarif |
A partir de 1 860,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Talend Data Quality vous aurez acquis les connaissances et compétences nécessaires pour :
- Utiliser les fonctionnalités de Talend Data Quality
- Profiler vos données
- Les monitorer pour en améliorer la qualité.
| Tarif |
Contacter l'organisme |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Adopter les postures d'une négociation réussie.
- Déjouer les super-pouvoirs des négociateurs.
- Mettre œuvre les stratégies de négociation.
- Mettre en application les techniques d'une négociation réussie.
| Tarif |
A partir de 1 550,00 € |
| Durée |
2 jours |
| Modes |
|
Manager l'équipe pour gagner en performance et maîtriser les risques
Proposé par APAVE EXPLOITATION FRANCEObjectifs de la formation
Les objectifs de la formation Manager l'équipe pour gagner en performance et maîtriser les risques :
- Développer aisance et efficacité dans les actes quotidiens de management individuel et collectif par des réflexes, repères et outils - Mesurer l’impact de ses comportements sur la motivation et l’efficacité de son équipe - Intégrer dans son management au quotidien les exigences de maîtrise des risques et de performance
| Tarif |
A partir de 1 906,00 € |
| Durée |
4 jours (1 jour en option) - 28 heures |
| Modes |
|
Formation : Exploiter les techniques du growth hacking pour up grader votre stratégie marketing digital
Proposé par COMUNDIObjectifs de la formation
- Identifier les principes du Growth Hacking et sa valeur ajoutée dans votre stratégie
- Choisir les techniques du Growth Hacking les plus adaptées à votre parcours client pour booster votre croissance à court terme
- Concevoir une action Growth Hacking et en mesurer l’efficacité
| Tarif |
Contacter l'organisme |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- S'approprier les démarches de détection et d'évaluation du potentiel et des talents.
- Animer des "people reviews". Se doter de critères factuels d'évaluation. Développer les talents.
| Tarif |
A partir de 1 595,00 € |
| Durée |
2 jours (14 heures) |
| Modes |
|
