Spark – Mise en oeuvre des traitements Big Data
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Développer une application s’appuyant sur Spark
- Connaître les différents concepts sous-jacents et les APIs
- Exécuter, tester, optimiser une application utilisant Spark
- Appréhender les problématiques de machine learning avec SparkML
| Tarif |
Contacter l'organisme |
| Durée | 3 jours - 21 h |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 3 jours - 21 h |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Embarquez pour une formation de 3 jours pour maîtriser le développement d’applications avec Apache Spark, un outil clé du Big Data.
Explorez le modèle in-memory de Spark, les Resilient Distributed Datasets (RDDs), l’utilisation des dataframes, et la mise en oeuvre du machine learning avec SparkML.
Profitez de nos travaux pratiques pour installer votre environnement de développement, effectuer des statistiques sur des données météorologiques, optimiser les RDDs, analyser du texte, exploiter des données en temps réel avec Sqoop et prédire la race d’un chien avec une image.
Vous apprendrez à exécuter, tester et optimiser vos applications Spark.
Programme
Présentation de Spark
- Spark vs MapReduce
- Le modèle in-memory
- Composants : Jobs, Stages, Tasks
- Les différentes interfaces : API Python, shell, etc.
- Travaux pratiques : installation de l'environnement de développement et manipulation Spark
Resilient Distributed Datasets
- Principe des DAG
- Les transformations : Filter, map, reduce, etc.
- Les actions
- Cache et persistance
- Travaux pratiques : effectuer des statistiques sur des données météorologiques
Dataframes
- Les requêtes
- les formats
- Spark SQL
- Travaux pratiques : optimiser les RDD avec les dataframes
Application : exécution et debug
- CStructure d'une application
- Exécuter une application
- WebUI
- Optimisation
- Travaux pratiques : observer et optimiser l'exécution de l'analyse de texte
Streaming
- Présentation de DStream
- Découverte de Sqoop
- Utilisation de Kafka
- Travaux pratiques : exploiter des données via sqoop en temps réel
SparkML
- Présentation de ML et MLlib
- Composants : Estimators, Transformers, Evaluators
- Pipeline
- Utilisation de Kafka
- Travaux pratiques : Prédire la race d'un chien présent dans une image
Prérequis
Connaissances sur Python
Public
Développeurs Backend et Architectes SI
Ces formations pourraient vous intéresser
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Renforcer la configuration de la sécurité de l'environnement Windows Server
- Améliorer la sécurité hybride à l'aide d'Azure Security Center, d'Azure Sentinel, et Windows Update Management
- Appliquer des fonctionnalités de sécurité afin de protéger les ressources critiques
- Implémenter des solutions de haute disponibilité et de reprise d'activité après sinistre
- Mettre en oeuvre des services de récupération dans des scénarios hybrides
- Planifier et mettre en oeuvre des scénarios de migration, de sauvegarde et de récupération hybrides et de Cloud uniquement
- Effectuer des mises à niveau et des migrations liées à l'AD DS et au stockage
- Gérer et surveiller des scénarios hybrides à l'aide de WAC (Windows Admin Center), d'Azure Arc, d'Azure Automation et d'Azure Monitor
- Mettre en oeuvre la surveillance des services et la surveillance des performances, et appliquer la résolution de problèmes.
| Tarif |
A partir de 2 440,00 € |
| Durée |
4j / 28h |
| Modes |
|
Formation Digitalisation des entreprises : impacts et opportunités des nouveaux usages du numérique
Proposé par PLB CONSULTANTObjectifs de la formation
À l'issue de cette formation Digitalisation des entreprises, vous aurez acquis les connaissances nécessaires pour savoir :
- Partager des notions et un vocabulaire commun autour du digital et des technologies Web
- Identifier les nouveaux usages et comportements induits par le digital et les évolutions technologiques
- Comprendre le contexte, les enjeux et le processus de digitalisation de l’entreprise
- Déterminer les impacts et les bénéfices de la digitalisation pour les différentes entités de l’entreprise
| Tarif |
A partir de 1 550,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Connaître les bonnes pratiques DevOps pour développer, fournir et gérer les applications et les services à grande vitesse sur AWS
- Identifier les avantages, rôles et responsabilités des équipes DevOps, et savoir mettre en place une infrastructure AWS qui soutient leurs projets de développement
- Utiliser AWS Cloud9 pour écrire, exécuter et déboguer votre code et déployer divers environnements avec AWS CloudFormation
- Héberger des référentiels Git sécurisés, hautement évolutifs et privés avec AWS CodeCommit et les intégrer dans des pipelines CI/CD
- Automatiser la construction, le test et le code d'empaquetage avec AWS CodeBuild
- Créer des pipelines CI/CD pour stocker des images Docker et déployer des applications sur Amazon EC2, des applications sans serveur et des applications basées sur des conteneurs
- Mettre en oeuvre des politiques de déploiement communes telles que « tout en même temps », « progressive » et « bleu/vert »
- Intégrer les tests et la sécurité dans les pipelines de CI/CD et surveiller les applications et les environnements à l'aide des outils et technologies AWS
| Tarif |
A partir de 2 400,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
- Maîtriser l'offre BI de Microsoft
- Savoir utiliser SQL Server Integration Services (SSIS)
- Savoir utiliser SQL Server Analysis Services (SSAS)
- Savoir utiliser SQL Server Reporting Services (SSRS)
- Connaître Power BI, l'intégrer à la suite SQL
| Tarif |
A partir de 3 000,00 € |
| Durée |
5 jours |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Manipuler le portail IBM Cognos Analytics
- Créer des tableaux de bord, des histoires et des explorations (analyse prédictive).
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Décrire et expliquer la réglementation en vigueur et la mettre en lumière autour de cas concrets
- Acquérir des données suffisantes (réflexes) pour évaluer correctement les situations à risques
- Adopter les bons comportements et mettre en oeuvre les solutions juridiques adaptées
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Analyser et corriger des problèmes de conformité du système à l'aide d'OpenSCAP et de SCAP Workbench
- Utiliser et adapter le contenu de politiques de référence fourni avec Red Hat Enterprise Linux
- Gérer les activités en lien avec la sécurité sur vos systèmes à l'aide de l'infrastructure d'audit du noyau
- Mettre en oeuvre des techniques SELinux avancées pour restreindre l'accès au niveau des utilisateurs, des processus et des machines virtuelles
- Déterminer l'intégrité des fichiers et leurs permissions avec l'utilitaire AIDE
- Bloquer l'utilisation de périphériques USB non autorisés à l'aide d'USBGuard
- Protéger des données au repos avec déchiffrement automatique sécurisé dès le démarrage avec NBDE
- Identifier des risques et des erreurs de configuration de façon proactive sur les systèmes et correction à l'aide de Red Hat Insights
- Analyser l'état de conformité et corriger à grande échelle à l'aide d'OpenSCAP, de Red Hat Insights, de Red Hat Satellite et de Red Hat Ansible Tower.
| Tarif |
Contacter l'organisme |
| Durée |
5j / 26h |
| Modes |
|
Objectifs de la formation
- Estimer et prévenir les risques liés à la protection des données à caractère personnel
- Identifier ses devoirs en matière de protection des données et connaître la règlementation applicable
- Établir un traitement optimisé des données RH : de la collecte des données à leur suppression
| Tarif |
Contacter l'organisme |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
À l'issue de ce cursus Data Scientist, vous serez à même de maîtriser tous les tenants et aboutissants du Big Data grâce à l'assimilation des connaissances et compétences suivantes :
- Comprendre le vocabulaire des statisticiens et savoir effectuer des calculs récurrents
- Savoir situer la frontière entre statistiques et probabilités
- Savoir choisir le bon outil pour représenter vos études statistiques, et bien communiquer dessus
- Connaître les acteurs du Big Data et leur niveau d'interdépendance
- Connaître les spécificités d'une infrastructure Big Data : stockage de données, analyse, visualisation...
- Manipuler des données, des objets et programmer avec R
- Maîtriser les fonctionnalités plus avancées de R : packages, structrures de données, Rmarkdown, purr...
- Comprendre les différences entre apprentissage automatique supervisé, non supervisé et meta-apprentissage
- Maîtriser l’utilisation d’algorithmes d'auto-apprentissage adaptés à une solution d'analyse, et appliquer ces techniques à des projets Big Data
- Gérer, collecter, analyser et visualiser vos données
- Mettre en récit vos analyses pour les promouvoir en interne ou en externe
| Tarif |
A partir de 9 890,00 € |
| Durée |
19j / 133h |
| Modes |
|
Formation - IBM Power Systems pour AIX III - Administration avancée et identification des problèmes
Proposé par IB CegosObjectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
5 jours (35 heures) |
| Modes |
|
