Spark Scala - Traitement des données
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Naviguer dans l'écosystème Spark en utilisant Scala comme langage de programmation.
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Introduction à Scala pour Apache Spark
- Présentation de Scala
- Pourquoi Scala avec Spark ?
- Scala dans les autres framework
- Introduction à Scala REPL
- Les opérations basiques sur Scala
- Les types de variables dans Scala
- Les structures de contrôles dans Scala
- Les boucles
- Les fonctions
- Les procédures
- Les collections dans Scala (Array, ArrayBuffer, Map, Tuples, Lists...)
Introduction au Big Data et Apache Spark
- Introduction au Big Data
- Les challenges du Big Data
- Batch vs le temps réel dans le Big Data Analytics
- Analyse en Batch Hadoop
- Vue d'ensemble de l'écosystème
- Les options de l'analyse en temps réel
- Streaming Data Spark
- In-memory Data Spark
- Présentation de Spark
- Ecosystème Spark
- Les modes de Spark
- Installation de Spark
- Vue d'ensemble de Spark en cluster
- Spark Standalone cluster
- Spark Web UI
Jour 2
Les opérations communes sur Spark
- Utilisation de Spark Shell
- Création d'un contexte Spark
- Chargement d'un fichier en Shell
- Réalisation d'opérations basiques sur un fichier avec Spark Shell
- Présentation du l'environnement de développement SBT
- Créer un projet Spark avec SBT
- Exécuter un projet Spark avec SBT
- Le mode local
- Le mode Spark
- Le caching sur Spark
- Persistance distribuée
Introduction aux RDD et DataFrame
- Transformations dans le RDD
- Actions dans le RDD
- Chargement de données dans RDD
- Enregistrement des données à travers RDD
- Paire clé-valeur "RDD MapReduce" et les paires "RDD Operations"
- Intégration HDFS avec Spark et Hadoop
- Intégration YARN avec Spark et Hadoop
- Gestion des fichiers de séquences et les partitionner
Exemple de travaux pratiques (à titre indicatif)
- Data PreProcessing avec Spark DataFrame
Jour 3
Spark Streaming et MLlib
- Architecture de Spark Streaming
- Premier programme avec Spark Streaming
- Les transformations dans Spark Streaming
- La "fault tolerance" dans Spark Streaming
- Checkpointing
- Niveaux de parallélismes
- Machine Learning avec Spark
- Types de données
- Algorithmes et statistiques
- Classification et régression
- Clustering
- Filtrage collaboratif
GraphX, SparkSQL et amélioration des performances dans Spark
- Analyse de l'architecture de Hive et Spark SQL
- SQLContext dans Spark SQL
- Travailler avec les DataFrames
- Implémentation d'un exemple pour Spark SQL
- Intégration de Hive et Spark SQL
- Support pour JSON et les formats des "Parquet File"
- Implémentation de la Data Visualization avec Spark
- Chargement de données
- Les requêtes Hive à travers Spark
- Les techniques de tests dans Scala
- Les astuces d'amélioration de performance dans Spark
- Les variables partagées
- Diffusion des variables
- Partage de variables
- Accumulateurs
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Connaître l’organisation et le fonctionnement du CSE
- Maîtriser les relations avec le CSE
- Appréhender le rôle des partenaires sociaux dans l’entreprise
| Tarif |
A partir de 1 990,00 € |
| Durée |
3j / 21h |
| Modes |
|
Business Intelligence Microsoft dans les outils Power BI et Excel - Avec certification
Proposé par M2IObjectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Exploiter les fonctionnalités de Business Intelligence Microsoft dans les outils Power BI et Excel
- Passer la certification "Microsoft Power BI Data Analyst" (PL-300).
| Tarif |
A partir de 3 440,00 € |
| Durée |
8j / 56h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Concevoir, faire évoluer et analyser un publipostage
- Créer une campagne e-mailing en évitant le spam
- Identifier les notions de champs de fusion et de variables.
| Tarif |
A partir de 255,00 € |
| Durée |
0j / 3h |
| Modes |
|
Objectifs de la formation
- Développer la performance individuelle : identifier les zones de talent individuelles
- Améliorer la performance de l'équipe : animer, mobiliser son équipe, définir les objectifs
- Déléguer, favoriser le travail collaboratif
- Suivre le travail de l’équipe et les indicateurs de réussite
- Construire des rapports d'activité qui permettront de suivre les objectifs et le développement de l'équipe
| Tarif |
A partir de 1 155,00 € |
| Durée |
2 jour(s) |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation DB2 12 Administration, vous aurez acquis les connaissances et compétences nécessaires pour :
- Implémenter une base de données logique à l'aide de DDL
- Gérer les tables référentielles associées
- Gérer la sérialisation
- Connaître les notions fondamentales de sécurité à l'œuvre dans une base DB2
| Tarif |
A partir de 2 550,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
- Comprendre les fondamentaux de la Blockchain
- Connaître les secteurs et les métiers concernés par la Blockchain
- Connaître les applications potentielles et prometteuses de la Blockchain
| Tarif |
A partir de 1 690,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Comprendre l’intérêt de Node .js
- Comprendre le fonctionnement interne de Node .js
- Savoir utiliser les packages NPM
- Savoir mettre en oeuvre un Framework
- Être capable d’interagir avec une base de données
- Savoir déployer une application Node .js
| Tarif |
Contacter l'organisme |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Expliquer le concept de l'IA Générative et son application dans Microsoft 365 Copilot
- Analyser des données dans Excel avec Copilot pour dégager des tendances et des insights
- Créer des modèles prévisionnels dans Excel et les visualiser sous forme de graphiques
- Synthétiser des rapports écrits en intégrant des analyses chiffrées avec Copilot
- Formuler des prompts en langage naturel dans Word pour la rédaction automatique de documents
- Concevoir des présentations PowerPoint impactantes en utilisant le contenu d'un fichier Word avec Copilot
- Evaluer l'efficacité des réunions dans Teams en utilisant les outils d'analyse et de synthèse de Copilot
- Appliquer les fonctionnalités de l'assistant personnel dans Microsoft 365 Chat pour améliorer la gestion de l'information.
| Tarif |
A partir de 710,00 € |
| Durée |
1j / 7h |
| Modes |
|
