Formation Hadoop - Développement
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Hadoop vous aurez acquis les connaissances et compétences nécessaires pour :
- Identifier les fonctionnalités d’Hadoop et son écosystème
- Développer des algorithmes parallèles efficaces avec MapReduce
- Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux et variés et apporter ainsi de la valeur à votre entreprise
- Développer des tâches parallèles MapReduce performantes
- Charger des données en environnement HDFS et HBase (données non structurées)
- Découvrir la puissance des traitements de données avec Spark
| Tarif |
A partir de 2 400,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 400,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
La gestion des ensembles de données volumineux offre aux entreprises de toutes tailles de nouvelles opportunités et de nouveaux défis à relever. Au cours de cette formation Développement Hadoop, vous allez acquérir les compétences pratiques de programmation nécessaires pour développer des solutions compatibles avec la plateforme Hadoop d'Apache grâce auxquelles vous pourrez traiter efficacement différents types de Big Data.
Lors de cette formation, vous utiliserez plusieurs produits dédiés au Big Data, Apache Hadoop, MapReduce, le système de fichiers distribué Hadoop (HDFS), HBase, Hive et Pig. Vous étudierez aussi d'autres composants de l'écosystème dont l’apport du standard Spark dans le traitement des données.
Selon la session choisie, la distribution peut changer entre Cloudera et Hortonworks. Contactez notre service commercial pour connaître la solution choisie sur les sessions à venir.
Programme
Introduction
Définir les fonctionnalités du framework Hadoop et son écosystèmeIdentifier le projet et les modules : Hadoop Common, HDFS, YARN, MapReduce
Utilisation de Yarn pour piloter les jobs mapreduce
MapReduce
Déterminer le principe et objectifs du modèle de programmation MapReduceDonnées structurées et non-structurées
Utiliser les fonctions map() et reduce().
Couples (clés, valeurs).
Implémentation par le framework Hadoop.
Étude d'exemplesTravaux PratiquesRédaction d'un premier programme et exécution avec Hadoop
Programmation
Configuration des jobs, notion de configuration.Identifier les interfaces principales : mapper, reducer,
Importance de la configuration HDFS sur le découpage en blocs et les mappers
La chaîne de production : entrées, input splits, mapper, combiner, shuffle/sort, reducer, sortie.
Gérer le partitionnement des données afin d’équilibrer la charge sur un cluster..
Format des entrées et sorties d'un job MapReduce : InputFormat et OutputFormat.Travaux PratiquesType personnalisés : création d'un writable spécifique. Utilisation. Contraintes.Jour 2
Outils complémentaires
Paramétrage d'un job : ToolRunner, transmission de propriétés.Accès à des systèmes externes : S3, hdfs, har, ...
Configuration des sorties vers une unité de persistanceTravaux PratiquesRépartition du job sur la ferme au travers de yarn.
Streaming
Définir le streaming map/reduce.Échantillonnage de données.
Définition de fenêtre temporelle en regard des données consommées.
Liaisons avec des systèmes externes.Travaux PratiquesSuivi d'un job en streaming
HBase
Présentation des différentes interfaces disponiblesCommandes de base, syntaxe, variables, manipulation des données : create, list, put, scan, get
Désactiver une table ou l'effacer : disable (enable), drop, ...
Programmation de scripts (shell proposé par Hbase)
Gestion des tables : principe des filtres
Mise en œuvre de filtres de recherche, paramètres des tables
Présentation des espaces de nommageTravaux PratiquesUtilisation de données structurée avec HBase en Map/Reduce.
Traitement de données depuis un datalake vers un datalabJour 3
Hive
Simplification du requêtage.Syntaxe de base.
Définition d’un mapping de données issus de HBase afin de requêter en SQL
Charger et stocker les données efficacement avec SerDes
Concevoir la disposition des données pour la performance
Automatisation de requêtes sur un flux de donnéesTravaux PratiquesCréation de tables. Ecriture de requêtes HiveQL.
Extraire des données en SQL avec utilisation de fonctions définies par l’utilisateur.
Introduction à Spark
Programmation de haut niveau pour le Big Data : RDDStandard de fait : pour son approche SQL : DataFrame
Echantillonnage de données ou streaming structuré
Big Data sur les graphes : Page ranking
Machine Learning à partir de données structurées (Spark ML)Travaux PratiquesExploitation de données CSV par une interprétation SQL Big Data
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
À l'issue de cette formation NoSQL, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre les spécificités des bases de données NoSQL par rapport aux SGBD classiques (SQL)
- Connaître les avantages/inconvénients du modèle NoSQL dans les solutions actuelles
- Connaître les solutions, l'écosystème des technologies et les acteurs du marché NoSQL
- Connaître les champs d'application des SGBD NoSQL en opérationnel et en analytique
- Définir une architecture SI intégrant des serveurs NoSQL
- Identifier les critères de choix
- Savoir dialoguer de façon simple avec une base NoSQL
| Tarif |
A partir de 1 790,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
Intégrer les principes utilisés pour effectuer une tarification en réassurance
Acquérir le vocabulaire nécessaire pour échanger avec les actuaires sur les problématiques d’utilisation et de compréhension des données
Évaluer la qualité d’une tarification
| Tarif |
A partir de 1 795,00 € |
| Durée |
2 jours - 14 heures |
| Modes |
|
Objectifs de la formation
- Utiliser les connaissances nécessaires pour intégrer le WCAG et le RGAA dans le développement de sites et applications web
- Appréhender les critères d'accessibilité constitutifs du RGAA pour les mettre en oeuvre techniquement
- Appréhender le développement d’interfaces riches en adoptant notamment l’API ARIA pour les rendre accessibles
- Utiliser les méthodes d’évaluation des développements web réalisés
| Tarif |
A partir de 1 450,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- L'importance des ventes additionnelles pour le développement de l'entreprise
- Les attentes des clients en matière de conseil et d'anticipation du besoin
- Faire de la vente additionnelle une valeur ajoutée pour l'entreprise
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Formation Power Platform - Mettre en œuvre la gouvernance des applications Power Platform
Proposé par PLB CONSULTANTObjectifs de la formation
Cette formation Power Platform Gouvernance Mise en œuvre vous apporte les connaissances et compétences nécessaires pour :
- Savoir créer et gérer des environnements au sein de Power Platform
- Savoir maîtriser le cycle de vie applicatif en déployant l’application du développement en qualification puis en production
- Être capable de monitorer, contrôler et administrer les applications au sein de la Power Platform
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Appliquer des techniques avancées pour évaluer les exigences, la portée et la faisabilité des projets
- Développer des stratégies de leadership pour la gestion des équipes projet
- Intégrer des techniques avancées de gestion des risques et de contrôle qualité
- Optimiser les pratiques de gestion financière et de contrôle budgétaire des projets
- Mettre en œuvre des stratégies avancées de résolution de problèmes et de prise de décision
| Tarif |
A partir de 3 000,00 € |
| Durée |
4 jours |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Formation Plan de développement des compétences : de sa définition à sa mise en oeuvre
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Analyser le cadre réglementaire et les orientations stratégiques de son entreprise afin d'adapter ses pratiques
- Construire le plan de développement des compétences en suivant les étapes clés
- Argumenter afin de faire approuver le plan auprès des acteurs internes de l'entreprise
- Gérer le plan de développement des compétences : de son déploiement à son suivi
| Tarif |
A partir de 2 133,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Google App Engine vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comprendre l'écosystème applicatif de Google
- Savoir ce qu'est Google App Engine
- Connaître les services applicatifs offerts par Google
- Connaître les contraintes techniques
- Comprendre les informations de coût pour une utilisation en entreprise
| Tarif |
Contacter l'organisme |
| Durée |
1j / 7h |
| Modes |
|
Formation WCF et ASP.NET Core, Développer des applications distribuées en C#
Proposé par PLB CONSULTANTObjectifs de la formation
A l'issue de cette formation WCF, vous serez capable de :
- Créer un service WCF
- Déployer un service WCF
- Configurer et sécuriser des services WCF
- Mettre en oeuvre un service WCF transactionnel
| Tarif |
A partir de 2 290,00 € |
| Durée |
4j / 28h |
| Modes |
|
