Apache Hadoop – Présentation de l’écosystème
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Décrire l'architecture et identifier les composants d'Apache Hadoop
- Configurer et superviser les services
- Identifier et manipuler les outils de développement et de supervision Hadoop
- Exploiter et orchestrer les développements
| Tarif |
Contacter l'organisme |
| Durée | 2 jours - 14 h |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 2 jours - 14 h |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Cette formation approfondie sur Apache Hadoop vous offre des compétences solides en matière de configuration, de supervision et d’exploitation des services Hadoop.
Acquérez une compréhension détaillée de l’écosystème Hadoop, y compris MapReduce, Pig, Hive, Sqoop, et plus encore.
Apprenez à gérer les utilisateurs, la sécurité, et les services généraux Hadoop dans un environnement de cluster.
De plus, familiarisez-vous avec les outils de développement Hadoop et les techniques de monitoring, garantissant un fonctionnement optimal du cluster.
Programme
Le projet et les modules
- Hadoop Common, HDFS, YARN, MapReduce Oozie, Pig, Hive, HBase
- Les fonctionnalités du framework Hadoop
- Les différentes versions
- Les principales distributions et leurs spécificités : Apache, Cloudera, Hortonworks, EMR, MapR
- Architecture et principe de fonctionnement
- Terminologie : NameNode, DataNode, ResourceManager, NodeManager
- Rôle des différents composants
Administration Hadoop
- Etude des fichiers de configuration core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml et capacity-scheduler.xml
- Gestion des utilisateurs pour les daemons hdfs et yarn
- Droits d'accès sur les exécutables et répertoires
- Architecture et gestion des services généraux Hadoop des utilisateurs pour les daemons hdfs et yarn
- HDFS
- YARN
- MapReduce
- HBase
- Monitoring du cluster Hadoop
- Suivi de charges
- Journaux (jConsole)
- Gestion des nœuds
- Accès JMX
- Mise en œuvre d'un client JMX
- Administration HDFS
- Stockage des fichiers : fsck, dfsadmin
- Gestion centralisée de caches avec Cacheadmin
- Sécurité
- Activation de la sécurité avec Kerberos dans core-site.xml, et hdfs-site.xml pour les NameNode et DataNode
- Gestion de la sécurité avec Apache Sentry
- Exploitation
- Supervision des éléments par le NodeManager
- Monitoring graphique avec Ambari, Kibana, Cloudera Manager
- Visualisation des alertes en cas d'indisponibilité d'un nœud
- Configuration des logs avec log4j
Développement Hadoop
- HDFS
- Architecture
- Commandes SHELL
- MapReduce
- Architecture de MapReduce
- Exécuter un code MapReduce
- Hue
- Introduction
- Fonctionnalités et utilisation
- HBase
- Architecture
- Commandes SHELL de création et d'interrogation de données
- Hive
- Architecture
- Méthodes d'accès à Hive
- HiveQL : création de bases de données/tables/vues, interrogation de données avec HiveQL, manipulation de fonctions définies par l'utilisateur (UDF), partitionner vos données, archivage de vos données
- Pig
- Introduction
- Méthodes d'exécution
- Pig Latin
- Communication entre Pig et Hive
- Sqoop
- Introduction
- Pour quels usages ?
- Méthodes d'utilisation
- Import et export des données
- Oozie
- Introduction
- Planification de workflows avec paramètres
Prérequis
Connaissances générales des systèmes d’information.
Public
- DSI
- Directeur Technique
- Chef de Projet
- Architecte SI
- Administrateur de bases de données
Ces formations pourraient vous intéresser
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
- Décrire et mettre en œuvre les principaux services IP (DHCP, NAT, NTP, SNMP, SYSLOG, etc.) ;
- Connaître les mécanismes de QOS ;
- Décrire les types d’attaque, configurer la sécurité d’accès de niveau 2 et de niveau 3 ;
- Décrire et comparer les différentes architectures de réseaux, les différentes méthodes d’accès et les différends services offerts par le Cloud ;
- Décrire les caractéristiques des API REST et interpréter des données JSON ;
- Interpréter les mécanismes de gestion de configuration avec ANSIBLE, PUPPET, CHEF.
| Tarif |
Contacter l'organisme |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Appliquer les principes et techniques essentiels de consolidation en normes IFRS
- Établir la méthodologie de construction du tableau de variation des capitaux propres consolidés et du tableau des flux de trésorerie
- Traduire les impacts des variations de périmètre dans les comptes consolidés du groupe
| Tarif |
A partir de 11 024,00 € |
| Durée |
14 jours |
| Modes |
|
Objectifs de la formation
- Mettre en place une réunion
- Structurer la réunion
- Animer la réunion
- Réussir à distance avec le digital
- Clôturer et assurer un suivi
| Tarif |
A partir de 100,00 € |
| Durée |
45 minutes |
| Modes |
|
Formation DDA - Mise en pratique de la Directive sur la Distribution d’Assurance
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Expliquer le contexte et les implications dans la relation client
- Synthétiser et intégrer les enjeux opérationnels et commerciaux pour l'établissement
- Faire le lien de la DDA avec les réformes PRIPS et MIF2
| Tarif |
A partir de 1 834,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Appréhender le concept de l'accessibilité numérique et l’intérêt des normes d’accessibilité
- Appréhender les problèmes rencontrés par les utilisateurs sur des sites non accessibles
- Appréhender les impacts et conséquences de la prise en compte de l’accessibilité au sein d'un projet web
- Échanger sur votre projet web et obtenir des réponses aux questions que vous vous posez
| Tarif |
A partir de 850,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
Mener à bien son projet de migration et identifier les risques
Rédiger les contrats Cloud
Maîtriser la négociation
| Tarif |
A partir de 1 795,00 € |
| Durée |
2 jours - 14 heures |
| Modes |
|
Objectifs de la formation
- Expliquer les principes de fonctionnement d‘une Blockchain
- Appréhender l’écosystème Blockchain et les secteurs d’activités
- Expliquer la notion de« smart contracts»
- Anticiper d’autres projets Blockchains
| Tarif |
Contacter l'organisme |
| Durée |
1j / 7h |
| Modes |
|
Windows Server 2022 – Mise en oeuvre et administration d’une infrastructure de serveurs
Proposé par ENI ServiceObjectifs de la formation
- Préparer et installer Windows Server et planifier une stratégie de mise à niveau et de migration du serveur
- Décrire les différentes options de stockage, notamment les formats de table de partition, les disques de base et dynamiques, les systèmes de fichiers, les disques durs virtuels et le matériel d'entraînement, et expliquer comment gérer les disques et les volumes
- Décrire les solutions de stockage d'entreprise et choisir la solution appropriée pour une situation donnée
- Mettre en œuvre et gérer les espaces de stockage et la déduplication des données
- Installer et configurer Microsoft Hyper-V, et configurer les machines virtuelles
- Déployer, configurer et gérer les conteneurs Windows et Hyper-V
- Décrire les technologies de haute disponibilité et de reprise après sinistre dans Windows Server
- Planifier, créer et gérer un cluster de basculement
- Implémenter le clustering de basculement pour les machines virtuelles Hyper-V
- Configurer un cluster NLB (Network Load Balancing) et planifier une implémentation NLB
- Créer et gérer des images de déploiement
- Gérer, surveiller et maintenir les installations de machines virtuelles
| Tarif |
A partir de 2 950,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Gérer les comptes comptables dans un délai raccourci
- Traiter les interrogations de vos divers interlocuteurs (Chef d'entreprise, expert comptable, commissaires aux comptes)
| Tarif |
A partir de 1 390,00 € |
| Durée |
3j / 21h |
| Modes |
|
