Apache Pig – Mise en oeuvre et programmation
Dans cette formation dédiée à Apache Pig, apprenez à utiliser Pig Latin, le langage procédural de cet outil de traitement de données Hadoop. Découvrez comment charger et manipuler des données de divers types et formats, comment optimiser les traitements générés et comment utiliser des librairies Pig externes. Comprenez les différentes commandes et opérations utiles telles que FILTER, ORDER, GROUP, et FOREACH...GENERATE. De plus, apprenez à étendre Pig avec des fonctions définies par l’utilisateur (User Defined Functions).
Prérequis
Avoir des connaissances générales sur le Big Data et l’infrastructure Apache Hadoop.
Public admis
- Salarié en Poste
- Entreprise
Demandeur d'emploi et Etudiant non admis
Financement
- Votre OPCO
- Financement personnel
Financement CPF non pris en charge
Modalités
- En centre
- En entreprise
- À distance
Objectifs pédagogiques
- Avoir une vue d'ensemble de l'architecture de Apache Pig ;
- Connaître les fonctionnalités générales et les capacités de Apache Pig ;
- Charger et de manipuler des données de types et formats différents ;
- Optimiser les traitements générés ;
- Utiliser des librairies Pig externes.
Programme de la formation
Présentation du Pig Latin
- Utilisation
- Fonctionnement
- Syntaxe
- Types
Chargement des données
- PigStorage
- Schémas
- Commande DESCRIBE
Sauvegarde de données
- DUMP
- STORE
Autres commandes utiles - cat
Traitement des données
Opérateurs
- FILTER
- ORDER
- GROUP
- FOREACH… GENERATE
- FLATTEN
Fonctions
- Chaînes de caractères
- Mathématiques
- Exemple - Compteur de mots, version Pig
Etendre Pig
- User Defined Functions
Proposé par
ENI Service
"votre centre de formation informatique de confiance"
Proposé par
ENI Service