Formation Hadoop - HBase, mise en œuvre et administration
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Hadoop HBase, vous aurez acquis les connaissances et compétences nécessaires pour :
- Positionner Hbase dans l’écosystème Hadoop
- Comprendre l’architecture et le fonctionnement de HBase
- Identifier les avantages de HBase pour le stockage distribué des données
- Savoir dialoguer avec un système Hbase (shell)
- Mettre en place un cluster Hbase en mode distribué
- Comprendre comment Hbase est utilisé en production par les applications
| Tarif |
A partir de 1 410,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 1 410,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
HBase est un SGBD non relationnel capable de gérer de très gros volumes de données grâce au système de fichiers distribués HDFS (Hadoop Distributed Filesystem) sur lequel il repose. La formation démarre par une présentation de Hadoop et de la place de Hbase dans cet éco-système. Puis nous présentons l’architecture générale de Hbase et son mécanisme de cluster pour permettre le stockage distribué et performant des données. Ensuite vous installez Hbase dans une démarche pédagogique pour prendre en main votre environnement.
La présentation du shell de Hbase permet d’être plus autonome et efficace dans le dépannage de Hbase au quotidien. En effet, le rôle de création des bases et de leur remplissage est plus souvent effectué par programmation que par script et jamais en interactif. Mais cependant, l’interactivité du shell est un grand allié pédagogique car on obtient « tout de suite » la réponse à sa question et on peut avancer pas à pas. Nous lui consacrons donc une part importante dans la formation. Dans le chapitre dédié à la programmation autour de HBase nous vous guidons afin que tous les participants, développeurs ou non, comprennent comment HBase est exploité réellement en production.
Programme
Introduction à Hadoop et à Hbase
Les fonctionnalités du Framework HadoopLe projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
Fonctionnalités : failover automatique, sharding
Hbase dans l’écosystème Hadoop
Différences logiques entre Hbase et un SGBDR
Différences physiques avec un SGBDR (rôle de HDFS)
Précisions sur le vocabulaire et les concepts HBase (table, région, ligne, famille de colonnes, cellules…)Travaux pratiquesCréation d’un modèle de données Hbase pour comprendre la vision de l’utilisateur sous forme de lignes et de colonnes dans un univers « sans schéma ».
Architecture Hbase et clusters
Vue générale des différents types de serveursFournir des données pour les lectures/écritures aux clients (Region Servers)
Gérer l’affectation des régions et les opérations de création et suppression de tables (HBase Hmaster)
Maintenir le cluster en l’état (Zookeeper)
Fonctionnement indépendant des démons (HMaster, HRegionServer, Zookeeper)
Fonctionnement du stockage basé sur HDFS
Passage au mode distribué : mise en œuvre avec HDFS dans un environnement distribué
Rôles et structure des fichiers HFiles (table, famille de colonne, colonne, row key)
Rôles des DataNode et NameNodeTravaux pratiquesQuiz sur le rôle des différents composants d’une architecture Hbase en cluster
Création de plusieurs environnements différents en cluster
Mise en œuvre des splits sur un exemple de tables réparties.
Installation
Choix des packages.Installation et configuration dans le fichier conf/hbase-site.xml
Démarrage en mode standalone start-hbase.
Test de connexion avec hbase shell.
Installation en mode distribué.
Les configurations pré-installées sur Hadoop
Les distributions Hbase dans le CloudTravaux pratiquesCe TP a un intérêt pédagogique pour bien comprendre le contenu et le fonctionnement de Hbase car au quotidien on utilise souvent des distributions qui proposent un environnement pré-installé (comme Hadoop) ou encore une version Cloud de Hbase proposée par les principaux acteurs (Azure, AWS, GCP).
Installation et test de connexion. Observations des différents fichiers générés. Visualisation des démons Hadoop et Hbase démarrés pour comprendre leur complémentarité. Visite de Hbase dans Azure (HDInsight Hbase) pour comprendre les points communs entre les différents packagings de Hbase sur le marché (et les différences ou non au niveau utilisateur).Jour 2
HBase utilisation : shell
Présentation des différentes interfaces disponibles.Commandes de base, syntaxe, variables
Prendre en main l’aide
Gestion des autorisations (grant,list_security_capabilities,revoke,user_permission)
Manipulation des données : create, list, put, scan, get
Commandes sur les tables (disponibilité, existence, liste, suppression, etc.)
Principe des filtres
Mise en œuvre de filtres de recherche, paramètres des tables.
Présentation des espaces de nommage.
Synthèse sur les commandes générales (voir les bases, informations sur les grappes)
Synthèse sur les commandes d’espaces de nom
Programmation par scripts.Travaux pratiquesManipulation des données par shellscript (création automatique de tables dans un espace de noms, familles de colonnes associées, insertion d’un gros volume de données, vérification de nos actions via des requêtes d’informations)
Recherche de données dans notre base
Surveillance de Hbase en production : les commandes pour constituer un tableau de bord d’exploitation
Programmation autour de Hbase
Concepts d’APIUtilisation de Hbase par un langage tiers (Java, C#, Python, etc.)
Chargement de fichiers pour remplir une base Hbase
Lien avec MapReduce.
Présentation rapide de Spark
Traitements avec Spark sur des données HbaseTravaux pratiquesIl n’est pas nécessaire de connaître Java pour ce TP c’est surtout le concept d’ouverture de Hbase vers les applications que nous souhaitons montrer ici. Les programmes sont fournis aux participants.
Chargement d’un fichier au format tsv dans notre base Hbase puis déclenchement d’un traitement MapReduce.
TP guidé pour utiliser Spark afin de compter le nombre d’élément présent en base et de calculer des sommes de ventes de produits. L’objectif est de montrer que Spark peut être utilisé pour réaliser des traitements complexes sur les données de HBase (traitements parallèles directement là où les données sont stockées dans notre exemple).
Prérequis
Public
Elle convient également à toute personne participant à un projet technique autour de Hbase.
Ces formations pourraient vous intéresser
Objectifs de la formation
- Identifier les différents composants d'un réseau d'entreprise et leur rôle
- Identifier les différentes solutions possibles à mettre en œuvre sur les réseaux locaux (LAN)
- Savoir formuler les différentes façons d'interconnecter les réseaux avec des routeurs CISCO
- Utiliser l'interface de commande en ligne (IOS) pour configurer des routeurs Cisco
- Etendre un réseau avec de multiples switchs, supporter les VLANs, trunking et spanning-tree
- Décrire les concepts du routage et mettre en oeuvre le routage sur un réseau
- Réussir la certification CISCO CCNA et devenir Certifié CISCO CCNA
| Tarif |
A partir de 4 000,00 € |
| Durée |
5 jours |
| Modes |
|
Objectifs de la formation
- Évaluation des compétences acquises via un questionnaire en ligne intégrant des mises en situation. (Pour passer le certificat voir "Certificat".)
| Tarif |
A partir de 5 285,00 € |
| Durée |
10 jours (70 heures) |
| Modes |
|
Objectifs de la formation
- Utiliser les outils de Visual Studio pour créer des projets de développement ;
- Réaliser des classes en respectant les bonnes pratiques ;
- Structurer vos applications à l’aide des packages ;
- Appliquer le concept d’héritage ;
- Manipuler les différentes collections ;
- Utiliser les expressions lambdas pour optimiser votre code ;
- Gérer les erreurs à l’aide des exceptions ;
- Surveiller le fonctionnement des applications ;
- Utiliser LINQ pour requêter sur des grappes d’objets ;
- Déboguer le code C# et réaliser des tests unitaires sur vos classes ;
- Réaliser des traitements asynchrones pour optimiser l’exécution des programmes.
| Tarif |
A partir de 2 850,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Gérer les données personnelles dans le cadre du RGPD.
- Intégrer les dernières évolutions en matière du droit du numérique afin de sécuriser ses pratiques.
- Respecter les aspects juridiques d'un projet internet, intranet, gestion de bases de données, e-commerce.
- Gérer un projet numérique dans le respect des droits et des obligations en matière d'édition de contenu numérique, de conservation et d'exploitation des données numériques.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours |
| Modes |
|
Mettre à niveau ses compétences d’Encadrant amiante sous-section 4
Proposé par APAVE EXPLOITATION FRANCEObjectifs de la formation
Les objectifs de la formation Mettre à niveau ses compétences d’Encadrant amiante sous-section 4 :
- Mettre à niveau ses connaissances et compétences en amont des formations réglementaires de recyclage à 3 ans des formations d’encadrement (encadrement technique ou de chantier ou mixte cumul de fonctions) - Connaître les dernières évolutions techniques et réglementaires - S’approprier les procédures adaptées aux interventions en fonction des derniers retours d’expériences - Identifier les risques, connaître le contenu du mode opératoire et réaliser sa mise en œuvre
| Tarif |
A partir de 445,00 € |
| Durée |
1 jour - 7 heures |
| Modes |
|
Objectifs de la formation
- S'approprier les usages de Copilot dans l'environnement Microsoft 365
- Mettre en œuvre les meilleures pratiques pour utiliser Copilot
- Rédiger des prompts efficaces
- Etendre les capacités de Copilot avec des plugins et des connecteurs Graph
| Tarif |
A partir de 800,00 € |
| Durée |
1 jour |
| Modes |
|
Objectifs de la formation
- Gagner en efficacité et en qualité par l’optimisation de son temps
- Mettre en œuvre des outils opérationnels et pertinents pour soi
- Éliminer des facteurs de stress et de frustration
| Tarif |
A partir de 850,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Appréhender les grandes orientations législatives et européennes des marchés publics
- Comprendre les conséquences pratiques des nouveaux textes
- Anticiper les prochaines dispositions réglementaires à venir
| Tarif |
Contacter l'organisme |
| Durée |
3.5 Heures |
| Modes |
|
Objectifs de la formation
Concrètement, à l'issue de cette formation Tuning Oracle 19c (12.2.0.3) vous aurez acquis les connaissances et les compétences nécessaires pour :
- Concevoir efficacement des modèles de base de données (modèle relationnel, MCD)
- D'optimiser le chargement et le déchargement d'information dans la base de données
- Comprendre le fonctionnement global d'Oracle Database (Tablespaces, SGA, PGA, Caches...) en vue de l'optimisation des instances
- Améliorer l'écriture des requêtes en langage SQL en utilisant les fonctions avancées du noyau Oracle Database.
- Utiliser l'option de partitionnement des Tables SQL
- Mettre en œuvre les outils d'aide à l'optimisation SQL
- Comprendre le fonctionnement du moteur d'optimisation SQL
| Tarif |
A partir de 3 225,00 € |
| Durée |
5j / 35h |
| Modes |
|
Formation - RH : développer votre posture de coach et de conseil auprès des managers
Proposé par CEGOSObjectifs de la formation
- Passer d’une posture d’expert RH à celle de RH coach.
- S’approprier les outils issus du coaching.
- Identifier ses atouts et ses axes de progrès.
| Tarif |
A partir de 1 445,00 € |
| Durée |
2 jours (14 heures) |
| Modes |
|
