Formation Apache Spark : Optimiser Apache Spark sur Databricks
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Apache Spark Optimisation, vous aurez acquis les connaissances et compétences nécessaires pour :
- S'approprier les cinq problématiques de performances les plus communes dans une application Spark et leurs principales méthodes de résolution
- Investiguer, identifier et traiter des problèmes de performances les plus communs associés à l'ingestion de données
- Appréhender les nouvelles fonctionnalités de Spark 3.x permettant de traiter les problèmes de performance dans vos applications Spark
- Configurer des clusters Spark pour une performance maximale pour des besoins métier spécifiques
| Tarif |
A partir de 1 750,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions |
| Tarif |
A partir de 1 750,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions |
Description
Apache Spark est un moteur d'analyses unifiées ultra-rapide pour le big data et le machine learning. Depuis sa sortie, il a connu une adoption rapide par les entreprises de secteurs très divers. Des acteurs majeurs tels que Netflix, Yahoo et eBay l'ont déployé à très grande échelle, traitant ensemble plusieurs péta-octets de données sur des clusters de plus de 8 000 nœuds.
Dans cette formation Apache Spark Optimisation, les apprenants exploreront les cinq problèmes majeurs de performance rencontrés dans une application Apache Spark : skew, spill, shuffle, stockage et serialization.
Au travers d'exemples basés sur des datasets de 100Go à 1To, le focus sera mis sur investigation et la réalisation de diagnostic des différentes sources de goulets d'étranglement avec Spark UI, ainsi que sur l'appropriation de stratégies de résolution efficaces.
Enfin, un temps sera également consacré à la découverte des nouvelles fonctionnalités proposées par Spark 3.x qui adressent automatiquement ces problèmes de performance communs.
Programme
Rappel du fonctionnement d'Apache Spark
Revue de l'architecture de Spark et de Spark UISkew
Spill
Shuffle
Storage
SerializationJour 2
Méthodes d'optimisation
Les bases de l'ingestionPrédire et anticiper les goulets d'étranglement
Partitionnement de disque
Z-ordering
Bucketing
Optimisation avec Adaptive Query Execution (AQE)
Concevoir et configurer des clusters à haute performance
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Comprendre les enjeux et intégrer la dimension « capital client » dans sa mission quotidienne
- Analyser les attentes des clients et lever les freins qui entravent l’excellence dans la relation client
- Mettre en place les outils et réflexes pour optimiser la satisfaction du client
| Tarif |
A partir de 80,00 € |
| Durée |
1 heure 18 minutes |
| Modes |
|
Objectifs de la formation
Plus concrètement, à l'issue de cette formation Spark, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre la philosophie de Spark et ses limites
- Utiliser Spark avec Hadoop
- Développer avec Spark streaming pour de l’analyse de flux en temps réel
- Développer des applications réparties avec Spark (parallélisme sur Cluster)
- Accéder à des données structurées dans vos applications (Spark SQL)
- Découvrir le machine learning avec Spark ML
| Tarif |
A partir de 1 995,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
Toute personne étant en contact physique ou téléphonique avec ses clients et souhaitant se perfectionner dans sa relation client.
- Prendre conscience de sa façon de communiquer et de l’impact sur sa relation client
- Communiquer efficacement pour optimiser sa relation client
- Préparer sa relation client
- Savoir valoriser sa qualité de service et cultiver une relation gagnant/gagnant
- Traiter les objections et gérer les situations délicates
| Tarif |
A partir de 1 155,00 € |
| Durée |
2 jour(s) |
| Modes |
|
Objectifs de la formation
- Améliorer l’écoute en situation professionnelle pour optimiser les relations quotidiennes
- Présenter des techniques de contrôle émotionnel
| Tarif |
A partir de 690,00 € |
| Durée |
4 heures 30 minutes |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Agir en tant qu'agent d'accueil
- Reconnaître et décrire les mécanismes des relations interpersonnelles
- Développer votre capacité d'écoute
- Conduire tout type d'entretien d'accueil en utilisant des techniques de communication efficaces.
| Tarif |
A partir de 1 440,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- S’approprier des méthodes concrètes et des outils pratiques pour optimiser les processus de gestion des stocks et des approvisionnements de son entreprise
- Optimiser la gestion des stocks
- Maîtriser les flux physiques
| Tarif |
A partir de 850,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Comprendre l’écosystème digital de TikTok
- Concevoir et optimiser un profil TikTok
- Développer et appliquer une stratégie marketing ciblée
- Initier les participants à l’animation de communautés sur TikTok
- Acquérir les compétences pour capter et créer de nouveaux clients
| Tarif |
A partir de 390,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Connaître les différents types de tests et leurs avantages
- Déterminer les éléments à tester
- Définir la bonne stratégie de test
- Être autonome dans la mise en place et le suivi des tests
| Tarif |
A partir de 1 390,00 € |
| Durée |
1j / 7h |
| Modes |
|
Big Data - Développement d'applications de Machine Learning et d'Intelligence Artificielle (IA)
Proposé par M2IObjectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Développer des applications de Machine Learning et d'IA (Intelligence Artificielle) avec Spark et Python
- Utiliser la programmation parallèle sur un cluster
- Développer et optimiser des algorithmes standards de Machine Learning et d'IA
- Utiliser les bibliothèques Python pour le Machine Learning et d'IA
- Décrire le cycle de vie d'un projet Data Science.
| Tarif |
A partir de 3 800,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Apache Camel, vous aurez acquis les connaisances et compétences nécessaires pour :
- Comprendre la problématique d'intégration dans une architecture SOA
- Comprendre les patterns d'intégration
- Comprendre le rôle du framework Apache Camel
- Comprendre l'architecture d'Apache Camel
- Découvrir les composants Camel prêt à l’emploi
- Mettre en oeuvre des scénarios d'intégration avec Apache Camel (routage et transformation)
- Intercepter et auditer les messages
- Tester vos applications avec Apache Camel
- Gérer les erreurs avec Apache Camel
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
