Spark Scala - Traitement des données
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Naviguer dans l'écosystème Spark en utilisant Scala comme langage de programmation.
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 280,00 € |
| Durée | 3 jours (21h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Introduction à Scala pour Apache Spark
- Présentation de Scala
- Pourquoi Scala avec Spark ?
- Scala dans les autres framework
- Introduction à Scala REPL
- Les opérations basiques sur Scala
- Les types de variables dans Scala
- Les structures de contrôles dans Scala
- Les boucles
- Les fonctions
- Les procédures
- Les collections dans Scala (Array, ArrayBuffer, Map, Tuples, Lists...)
Introduction au Big Data et Apache Spark
- Introduction au Big Data
- Les challenges du Big Data
- Batch vs le temps réel dans le Big Data Analytics
- Analyse en Batch Hadoop
- Vue d'ensemble de l'écosystème
- Les options de l'analyse en temps réel
- Streaming Data Spark
- In-memory Data Spark
- Présentation de Spark
- Ecosystème Spark
- Les modes de Spark
- Installation de Spark
- Vue d'ensemble de Spark en cluster
- Spark Standalone cluster
- Spark Web UI
Jour 2
Les opérations communes sur Spark
- Utilisation de Spark Shell
- Création d'un contexte Spark
- Chargement d'un fichier en Shell
- Réalisation d'opérations basiques sur un fichier avec Spark Shell
- Présentation du l'environnement de développement SBT
- Créer un projet Spark avec SBT
- Exécuter un projet Spark avec SBT
- Le mode local
- Le mode Spark
- Le caching sur Spark
- Persistance distribuée
Introduction aux RDD et DataFrame
- Transformations dans le RDD
- Actions dans le RDD
- Chargement de données dans RDD
- Enregistrement des données à travers RDD
- Paire clé-valeur "RDD MapReduce" et les paires "RDD Operations"
- Intégration HDFS avec Spark et Hadoop
- Intégration YARN avec Spark et Hadoop
- Gestion des fichiers de séquences et les partitionner
Exemple de travaux pratiques (à titre indicatif)
- Data PreProcessing avec Spark DataFrame
Jour 3
Spark Streaming et MLlib
- Architecture de Spark Streaming
- Premier programme avec Spark Streaming
- Les transformations dans Spark Streaming
- La "fault tolerance" dans Spark Streaming
- Checkpointing
- Niveaux de parallélismes
- Machine Learning avec Spark
- Types de données
- Algorithmes et statistiques
- Classification et régression
- Clustering
- Filtrage collaboratif
GraphX, SparkSQL et amélioration des performances dans Spark
- Analyse de l'architecture de Hive et Spark SQL
- SQLContext dans Spark SQL
- Travailler avec les DataFrames
- Implémentation d'un exemple pour Spark SQL
- Intégration de Hive et Spark SQL
- Support pour JSON et les formats des "Parquet File"
- Implémentation de la Data Visualization avec Spark
- Chargement de données
- Les requêtes Hive à travers Spark
- Les techniques de tests dans Scala
- Les astuces d'amélioration de performance dans Spark
- Les variables partagées
- Diffusion des variables
- Partage de variables
- Accumulateurs
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Créer un document
- Concevoir des requêtes
- Présenter les données en tableaux et en diagrammes
- Mettre en place des formules de calculs
- Mettre en valeur les données
- Partager les documents
| Tarif |
Contacter l'organisme |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire et mettre en oeuvre le framework CakePHP.
| Tarif |
A partir de 1 830,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire les améliorations apportées par Windows 10 / 11
- Installer et déployer Windows 10 / 11
- Effectuer la mise à jour et la migration des versions antérieures de Windows vers Windows 10 / 11
- Configurer les disques, périphériques et les connexions réseaux
- Configurer et gérer la sécurité
- Optimiser et dépanner Windows 10 / 11.
| Tarif |
A partir de 1 830,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Concevoir et structurer une base de données relationnelle avec Access
- Mettre au point des requêtes
- Construire des formulaires et des états sous Access
- Faciliter l'utilisation avec des macros simples
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
Concrètement, à l'issue cette formation Office 365 Administration vous aurez acquis les connaissances et les compétences nécessaires pour :
- Décrire la journée type d’un administrateur Office 365
- Gérer des comptes synchronisés avec un annuaire Active Directory local et/ou distant
- Gérer des boîtes aux lettres Exchange Online
- Administrer des sites SharePoint Online
- Administrer la plateforme collaborative Teams
- Administrer le stockage avec OneDrive
- Simplifier votre administration à l’aide de commandes PowerShell
| Tarif |
A partir de 1 860,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire Microsoft Dataverse
- Identifier des tables et des colonnes dans Dataverse
- Reconnaître les relations
- Décrire la double écriture et les tables virtuelles
- Citer les environnements dans Dataverse
- Définir des règles d'entreprise
- Administrer Dataverse
- Appliquer la sécurité dans Dataverse
- Décrire Dataverse for Teams.
| Tarif |
A partir de 1 340,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Créer un environnement Microsoft Defender pour Endpoint
- Configurer les règles de réduction de la surface d'attaque sur les appareils Windows 10
- Rechercher des domaines et des adresses IP Microsoft Defender pour Endpoint
- Enquêter sur les comptes utilisateurs dans Microsoft Defender pour Endpoint
- Configurer les paramètres d'alerte dans Microsoft Defender pour Endpoint
- Gérer les incidents dans Microsoft 365 Defender
- Examiner les alertes DLP dans Microsoft Cloud App Security
- Configurer l'auto-provisioning dans Azure Defender
- Remédier aux alertes dans Azure Defender
- Construire des instructions KQL
- Gérer un espace de travail Azure Sentinel
- Utiliser KQL pour accéder à la liste de surveillance dans Azure Sentinel
- Gérer les indicateurs de menace dans Azure Sentinel
- Configurer l'agent Log Analytics pour collecter les événements Sysmon
- Créer de nouvelles règles et requêtes d'analyse à l'aide de l'assistant de règles d'analyse
- Utiliser des requêtes pour rechercher des menaces
| Tarif |
A partir de 2 690,00 € |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Découvrir le framework Symfony 6 pour créer votre site Web
- Créer un nouveau projet Symfony 6, en partant de rien
- Décrire l'organisation structurée des répertoires / fichiers et y appliquer un pattern MVC
- Construire les premières pages Web avec le moteur de rendu Twig et le gestionnaire d'assets Webpack Encore
- Créer des formulaires Symfony et gérer la persistance d'objets via Doctrine.
| Tarif |
A partir de 1 590,00 € |
| Durée |
3j / 21h |
| Modes |
|
Sécurité informatique – Ethical Hacking – Apprendre l’attaque pour mieux se défendre
Proposé par ENI ServiceObjectifs de la formation
- Comprendre les techniques des pirates informatiques et pouvoir contrer leurs attaques ;
- Réaliser un audit de sécurité de votre entreprise.
| Tarif |
A partir de 3 150,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Prendre en main son ordinateur et la bureautique.
- Pratiquer l'environnement Windows.
- S'initier au traitement de texte (Word), au tableur (Excel), à la messagerie et aux réseaux sociaux.
| Tarif |
A partir de 815,00 € |
| Durée |
2 jours (14 heures) |
| Modes |
|
