Formation Apache Spark : Optimiser Apache Spark sur Databricks
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Apache Spark Optimisation, vous aurez acquis les connaissances et compétences nécessaires pour :
- S'approprier les cinq problématiques de performances les plus communes dans une application Spark et leurs principales méthodes de résolution
- Investiguer, identifier et traiter des problèmes de performances les plus communs associés à l'ingestion de données
- Appréhender les nouvelles fonctionnalités de Spark 3.x permettant de traiter les problèmes de performance dans vos applications Spark
- Configurer des clusters Spark pour une performance maximale pour des besoins métier spécifiques
| Tarif |
A partir de 1 750,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions |
| Tarif |
A partir de 1 750,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions |
Description
Apache Spark est un moteur d'analyses unifiées ultra-rapide pour le big data et le machine learning. Depuis sa sortie, il a connu une adoption rapide par les entreprises de secteurs très divers. Des acteurs majeurs tels que Netflix, Yahoo et eBay l'ont déployé à très grande échelle, traitant ensemble plusieurs péta-octets de données sur des clusters de plus de 8 000 nœuds.
Dans cette formation Apache Spark Optimisation, les apprenants exploreront les cinq problèmes majeurs de performance rencontrés dans une application Apache Spark : skew, spill, shuffle, stockage et serialization.
Au travers d'exemples basés sur des datasets de 100Go à 1To, le focus sera mis sur investigation et la réalisation de diagnostic des différentes sources de goulets d'étranglement avec Spark UI, ainsi que sur l'appropriation de stratégies de résolution efficaces.
Enfin, un temps sera également consacré à la découverte des nouvelles fonctionnalités proposées par Spark 3.x qui adressent automatiquement ces problèmes de performance communs.
Programme
Rappel du fonctionnement d'Apache Spark
Revue de l'architecture de Spark et de Spark UISkew
Spill
Shuffle
Storage
SerializationJour 2
Méthodes d'optimisation
Les bases de l'ingestionPrédire et anticiper les goulets d'étranglement
Partitionnement de disque
Z-ordering
Bucketing
Optimisation avec Adaptive Query Execution (AQE)
Concevoir et configurer des clusters à haute performance
Prérequis
Public
Ces formations pourraient vous intéresser
Formation MS Project 2016/2019 : Gérer ses projets avec Microsoft Project 2016/2019
Proposé par PLB CONSULTANTObjectifs de la formation
Concrètement, à l'issue de cette formation MS Project 2016/2019, les participants auront acquis les connaissances et compétences nécessaires pour :
- Disposer d’une méthodologie précise de planification et de suivi de projet
- Connaître les meilleures pratiques pour optimiser la gestion d'un projet et le temps consacré à son suivi grâce à MS Project
- Comprendre comment consolider plusieurs projets et créer des tableaux de bord de suivi
- Savoir partager des rapports percutants
| Tarif |
A partir de 1 910,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
Identifier l’intérêt d’opter pour une location meublée professionnelle (LMP), non professionnelle (LMNP) ou la parahôtellerie
Comparer les régimes fiscaux applicables à la location meublée et à la parahôtellerie
Optimiser son patrimoine immobilier par la location meublée ou la parahôtellerie
| Tarif |
A partir de 1 165,00 € |
| Durée |
1 jour - 7 heures |
| Modes |
|
Objectifs de la formation
- Analyser les performances et optimiser les applications React
- Maîtriser les techniques de gestion avancée des états avec les hooks
- Implémenter les mécanismes de sécurité et d'authentification dans les applications React
- Etendre les fonctionnalités des applications React en utilisant des bibliothèques et APIs
- Concevoir des tests unitaires et d'intégration avancés
| Tarif |
A partir de 1 950,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
- Gérer les abonnements à Azure et gérer les coûts
- Protéger les identités et configurer la gestion des accès
- Gérer machines virtuelles et ressources pour fiabilité
- Configurer des réseaux virtuels et optimiser la connectivité
- Établir des connexions sécurisées entre Azure et on-premise
- Administrer les politiques et optimiser les performances du réseau
- Configurer des solutions adaptées, appliquer sauvegardes et récupération
- Déployer et adapter machines virtuelles, applications Web, et conteneurs
| Tarif |
A partir de 2 900,00 € |
| Durée |
4 jours |
| Modes |
|
Objectifs de la formation
- Gérer tous les aspects organisationnels et sociaux de la mise en place d'une GPEC
- Construire sa démarche de GPEC dans son entreprise pas à pas
- Utiliser la GPEC pour optimiser les RH et maîtriser les coûts
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Formation AWS : Gérer des conteneurs avec Amazon Web Services EKS (cours officiel)
Proposé par PLB CONSULTANTObjectifs de la formation
À l'issue de cette formation Amazon EKS vous aurez acquis les connaissances et les compétences nécessaires pour :
- Construire un cluster Amazon EKS
- Sécuriser votre environnement avec l'authentification AWS Identity,Access Management (IAM) et Kubernetes Role Based Access Control (RBAC)
- Déployer une application sur le cluster et publier des images de conteneurs sur Amazon ECR
- Déployer une application à l'aide d'outils et de pipelines automatisés
- Créer un pipeline GitOps en utilisant FluxCD (Weaveworks)
- Collecter des données avec AWS X-Ray et identifier des métriques pour l'optimisation des performances
- Évaluer l'efficacité, la résilience, le coût et l'impact d'EKS
- Décrire et présenter une approche holistique et itérative pour optimiser votre environnement
- Configurer les services de mise en réseau AWS pour prendre en charge le cluster
- Décrire comment Amazon Virtual Private Cloud (VPC) prend en charge les clusters Amazon EKS et simplifie les communications entre les nœuds
- Mettre à niveau vos outils Kubernetes, Amazon EKS et tiers
| Tarif |
A partir de 2 490,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
Faire le point sur le droit de la communication publicitaire média et hors média et de la promotion
Identifier et prévenir les risques pour sécuriser la communication
Optimiser les relations avec les prestataires de la communication
| Tarif |
A partir de 1 795,00 € |
| Durée |
2 jours - 14 heures |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Snowpark pour Python, vous aurez acquis les connaissances et compétences nécessaires pour :
- Acquérir une compréhension approfondie du langage de programmation Python et de ses fonctionnalités avancées pour l'analyse de données
- Comprendre les concepts clés de Snowpark et exécuter de tâches de transformation de données en utilisant des langages de programmation comme Python.
- Maîtriser l'utilisation des bibliothèques Python spécifiques à Snowflake pour l'exploration, la manipulation et l'analyse des données stockées dans Snowflake
- Découvrir les meilleures pratiques et les astuces pour optimiser les performances lors de l'exécution de tâches Python dans Snowflake / Snowpark
- Acquérir les compétences nécessaires pour résoudre des problèmes de données spécifiques en combinant les fonctionnalités de Python et de Snowflake / Snowpark
- Explorer différentes techniques et algorithmes de Machine Learning, tels que la régression, la classification, le clustering, etc
- Utiliser FastAPI, un framework web Python, pour créer rapidement des API RESTful robustes et évolutives
- Utiliser Streamlit, un framework pour le développement rapide d'applications web de data science, pour créer des interfaces utilisateur interactives et conviviales
| Tarif |
A partir de 2 490,00 € |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
Pour optimiser les ressources dans un projet ou dans le management au quotidien d'un service informatique, l'externalisation et l'appel à sous-traitance sont des leviers puissants. Il importe donc d'en comprendre les mécanismes essentiels, en vue de les appliquer dans un contexte opérationnel. Cette formation Gestion de projet vous permettra de:
- Identifier les champs potentiellement concernés par la sous-traitance informatique
- Disposer d'outils de base à mettre en oeuvre pour passer à la mise en pratique
- Identifier les sous-traitants adaptés à vos projets et disposer des bonnes méthodes pour les piloter efficacement
| Tarif |
A partir de 1 820,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Administrez vos serveurs avec Apache Tomcat
- Connaître les bonnes pratiques d'installation de Tomcat
- Configurer votre serveur Tomcat
- Déployer vos applications sur Tomcat
- Gérer efficacement votre serveur Tomcat
- Maîtriser le clustering
- Connaître les bonnes pratiques de sécurité
| Tarif |
A partir de 1 650,00 € |
| Durée |
3 jours |
| Modes |
|
