Formation Apache Spark : Programmer avec Apache Spark de Databricks
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Apache Spark, vous aurez acquis les connaissances et compétences nécessaires pour :
- Décrire les fondamentaux de Spark
- Exploiter les APIs de base de Spark pour manipuler des données
- Concevoir et implémenter des cas d’usage typiques de Spark
- Construire des pipelines de données et requêter de larges jeux de données grâce à Spark SQL et aux DataFrames
- Analyser les jobs Sparks à l’aide des interfaces d’administration et des logs au sein des environnements Databricks
- Créer des jobs de type Structured Streaming
- Découvrir les bases du fonctionnement interne de Spark
- Découvrir le pattern Deltalake
| Tarif |
A partir de 1 780,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 1 780,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Apache Spark est un moteur d'analyses unifiées ultra-rapide pour le big data et le machine learning. Depuis sa sortie, il a connu une adoption rapide par les entreprises de secteurs très divers. Des acteurs majeurs du monde de l'internet tels que Netflix, Yahoo et eBay l’ont déployé à très grande échelle, traitant ensemble plusieurs peta-octets de données sur des clusters de plus de 8 000 nœuds.
En deux jours, cette formation propose un panorama pratique de la solution Apache Spark en alternant des présentations théoriques et des exercices pratiques. Ce module couvre les APIs de base de Spark, les fondamentaux et les mécanismes du framework, mais aussi les outils de plus haut-niveau, dont SQL, ainsi que ses capacités de traitement en streaming et l’API de machine learning.
À l’issue de la session, les notebooks peuvent être conservés et être réutilisés dans le service cloud gratuit Databricks Community Edition, pour lequel la compatibilité est garantie. Il est également possible d’exporter le notebook sous forme de code source pour exécution sur n’importe quel environnement Spark.
Programme
Jour 1
Aperçu de Spark et DataFrames
Introduction
L’écosystème Databricks
Spark SQL
Lecture et écriture de données
Dataframe et colonnes
Transformations et manipulations de données
Agrégations
Datetimes
Types complexes
Fonctions additionnelles
UDF : User Defined Functions
Jour 2
Optimisation de Spark
Architecture
Shuffle et Cache
Optimisation des requêtes
Spark UI
Gestion des partitions
Structured Streaming
Exposés
Streaming et requêtes
Processing streaming
Agrégations
Deltalake
Conclusion
Prérequis
Une première expérience avec Apache Spark et Spark DataFrames sont également souhaitables, en particulier si vous visez la certification associée.
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
- Décrire l’analyse de bout en bout dans Microsoft Fabric
- Utiliser Lakehouses dans Microsoft Fabric
- Utiliser Apache Spark dans Microsoft Fabric
- Travailler avec les tables Delta Lake dans Microsoft Fabric
- Ingérer des données avec Dataflows Gen2 dans Microsoft Fabric
- Utiliser les pipelines Data Factory dans Microsoft Fabric
| Tarif |
Contacter l'organisme |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
Cette formation Initiation Outlook 2010 vous aurez acquis les compétences et connaissances nécessaires pour :
- Créer des tâches et des notes
- Savoir utiliser de façon opérationnelle les fonctions de messagerie et des gestions des contacts
- Savoir utiliser plusieurs calendriers pour programmer des rendez-vous et des réunions
- Atteindre le niveau Basique voire Opérationnel de la certification TOSA® (Entre 350 et 725 points)
| Tarif |
A partir de 390,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Apprendre à utiliser Apache Maven
- Connaître le POM, Repository Maven et les coordinations
- Utiliser les modèles de gestion des dépendances
- Gérer les configurations
- Exécuter des tests
- Faire de l'intégration continue avec Maven
| Tarif |
A partir de 1 650,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
- Utiliser les API de programmation avancée de la plate-forme Java
- Écrire des programmes accédants aux bases de données
- Mettre en œuvre la programmation parallèle par l’utilisation des Threads
- Ecrire des programmes manipulant les entrées/sorties et l’accès aux ressources réseau
- Implémenter efficacement un système de journalisation dans une application Java
- Concevoir des interfaces graphiques avancées
- Externaliser les chaînes de caractères des codes sources et mettre en œuvre l’internationalisation des applications
- Superviser une application Java avec JMX
| Tarif |
Contacter l'organisme |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Comprendre le principe de fonctionnement d’Apache Spark
- Utiliser PySpark pour manipuler des données avec Python
- Traiter les flux de données en temps réel avec Spark Streaming
| Tarif |
A partir de 2 050,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
- Expliquer le fonctionnement d'Apache Spark et ses relations avec le Big Data et Hadoop
- Utiliser les RDD pour gérer les opérations et MapReduce
- Intégrer et utiliser HDFS avec Spark
- Mettre en place et déployer une structure de cluster Spark
- Appliquer le partitionnement et la programmation parallèle sur les données HDFS
- Concevoir et générer une application Spark
- Implémenter Spark Streaming pour le traitement des données en temps réel
- Appliquer des algorithmes de Machine Learning avec MLlib et optimiser Spark
| Tarif |
A partir de 2 250,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
- Maîtriser le framework ASP.NET
- Savoir programmer des pages ASP.NET
- Gérer les données
- Contrôler les serveurs
- Utiliser des services Web
- Gérer la sécurité dans les applications ASP.NET
- Savoir configurer les applications ASP.NET
- Déployer ASP.NEGT avec IIS
| Tarif |
A partir de 3 000,00 € |
| Durée |
5 jours |
| Modes |
|
Objectifs de la formation
- Organiser vos données pour faciliter l'analyse et fiabiliser les résultats.
- Exploiter le potentiel de calcul d'Excel, automatiser les traitements et la mise en forme sans programmer : formules complexes, imbriquées, matricielles.
- Cette formation ne traite pas des tableaux croisés dynamiques. Pour cela, suivre "Excel - Tableaux croisés dynamiques - Niveau 2" (Réf. 8463).
| Tarif |
A partir de 860,00 € |
| Durée |
2 jours (14 heures) |
| Modes |
|
