Formation Pig : Développement de scripts avec Apache Pig
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Développement de scripts avec Apache Pig vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comprendre le fonctionnement de Pig
- Développer des requêtes en avec Pig Latin pour effectuer des transformations sur les données et des analyses de données
- Intégrer des données de différents formats
| Tarif |
A partir de 1 360,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 1 360,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Intégré à la suite Hadoop, Pig est une plate-forme de haut niveau permettant la programmation parallèle de tâches MapReduce tournant dans un cluster Hadoop. Utilisé le plus souvent pour charger des données via des fichiers HDFS ou pour gérer des échanges de données entre des applications tierces, Pig pour le big data comprend deux éléments-clé : un compilateur et un langage de script nommé Pig Latin.
Durant cette formation Développement de scripts avec Apache Pig vous comprendrez le fonctionnement de Pig, vous saurez développer des requêtes avec Pig Latin pour effectuer des transformations sur les données et des analyses de données. Pour finir vous saurez intégrer des données de différents formats.
Programme
Introduction à Apache Pig
Le projet Apache Pig, fonctionnalités, versions
Présentation de Pig dans l'écosystème Hadoop
Chaîne de fonctionnement
Comparatif avec l'approche Hive ou Spark
Mise en œuvre de Pig
Rappels sur les commandes HDFS
Prérequis techniques, configuration de Pig
Travaux pratiques
Exécution : les différents modes : interactif ou batch
Principe de l'exécution de scripts Pig Latin avec Grunt
Base Pig Latin
Modèles de données avec Pig
Intégration Pig avec MapReduce
Les requêtes Latin : chargement de données, instructions
Ordres de bases : LOAD, FOREACH, FILTER, STORE
Travaux pratiques
Création d'un ETL de base
Contrôle d'exécution
Transformation des données via des opérations de filtre avec Pig Latin
Groupements, jointures, tris, produits cartésiens
Transformation de base de la donnée
Découpages
Découpages sur filtres
Analyse de la donnée
Echantillonages
Filtres
Rangements avec rank et dense
Calculs : min/max, sommes, moyennes...
Travaux pratiques
Traitements de chaînes de caractères
Traitement de dates
Intégration
Formats d'entrées/sorties
Interfaçage avro, json
Travaux pratiques
Chargement de données depuis HDFS vers HBase
Analyse de données Pig/Hbase
Restitution Json
Extensions du Pig Latin
Extension du Pig Latin
Création de fonctions UDF en Java
Intégration dans les scripts Pig
Travaux pratiques
Utilisation de Pig Latin depuis des programmes Python
Execution de programmes externes, streaming
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
À l'issue de cette formation ubuntu de cinq jours, les participants auront été formés aux compétences de bases requises par les Administrateurs Système Ubuntu.
Cette formation Ubuntu vous permettra de :
- Savoir comment bien installer, configurer les systèmes Ubuntu
- Comprendre comment exécuter des tâches routinières d'administration : gérer des comptes utilisateur et des systèmes de fichiers, et maintenir la sécurité du système
- Être capable de configurer la connectivité du réseau et les principaux services réseau
- Travailler sur linux à partir de la ligne de commande.
| Tarif |
A partir de 2 710,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
À l’issue de cette formation Toad pour Administrateur, vous aurez acquis les connaissances et les compétences nécessaires pour :
- Configurer, paramétrer et personnaliser Toad
- Utiliser Toad comme éditeur de requêtes SQL ou de scripts PL/SQL (création, structure de données et de BDD, manipulation des objets de la base, gestion des autorisations...)
- Maîtriser l’affichage de vos données
- Naviguer de façon efficace à travers les objets
- Optimiser les requêtes SQL des développeurs
- Produire des rapports de données
- Effectuer les différentes tâches d’import/export
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
- Créer une base de données
- Développer les composants d'accès aux données
- Développer la partie back-end d'une application web ou web mobile
- Élaborer et mettre en œuvre des composants dans une application de gestion de contenu ou e-commerce
| Tarif |
Contacter l'organisme |
| Durée |
86j / 602h |
| Modes |
|
Objectifs de la formation
- Administrer, installer et intégrer Linux Debian
- Comprendre la distribution de logiciels
- Gérer X-Window
- Gérer les utilisateurs, la sauvegarde, l'arrêt et le démarrage
- Gérer les disques sous Debian Linux, les systèmes de fichiers, les périphériques et le noyau
- Géer les performances, les traces, le réseau, la sécurité et un serveur HTTP Apache
| Tarif |
A partir de 3 000,00 € |
| Durée |
5 jours |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
Cette formation Microsoft Azure Ingénierie de données vous donne les connaissances et compétences nécessaires pour :
- Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données dans Azure
- Concevoir et mettre en œuvre la couche de service
- Comprendre les considérations relatives à l'ingénierie des données
- Exécuter des requêtes interactives à l'aide de pools SQL sans serveur
- Explorer, transformer et charger des données dans l'entrepôt de données à l'aide d'Apache Spark
- Effectuer l'exploration et la transformation des données dans Azure Databricks
- Ingérer et charger des données dans l'entrepôt de données
- Transformer les données avec Azure Data Factory ou Azure Synapse Pipelines
- Intégrer les données des ordinateurs portables avec Azure Data Factory ou Azure Synapse Pipelines
- Optimiser les performances des requêtes avec des pools SQL dédiés dans Azure Synapse
- Analyser et optimiser le stockage dans l'entrepôt de données
- Prendre en charge le traitement analytique transactionnel hybride (HTAP) avec Azure Synapse Link
- Assurer la sécurité de bout en bout avec Azure Synapse Analytics
- Effectuer un traitement de flux en temps réel avec Stream Analytics
- Créer une solution de traitement en continu avec Event Hubs et Azure Databricks
- Créer des rapports à l'aide de l'intégration Power BI avec Azure Synpase Analytics
- Exécuter des processus d'apprentissage automatiques intégrés dans Azure Synapse Analytics
| Tarif |
A partir de 2 690,00 € |
| Durée |
4j / 28h |
| Modes |
|
Formation - Big Data - Mise en oeuvre pratique d'une solution complète d'analyse des données
Proposé par IB CegosObjectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
4 jours (28 heures) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation vous serez en mesure de:
- Savoir installer TOMCAT
- Maitriser la configuration d'un serveur TOMCAT
- Déployer des applications
- Maitriser l'administration, l'exploitation, le monitoring et le tuning d'un serveur TOMCAT
- Mettre en oeuvre l'intégration avec le serveur Apache
- Maitriser l'architecture en cluster
| Tarif |
A partir de 1 990,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Écrire des scripts en shell afin de surveiller, automatiser, installer vos logiciels, traiter vos fichiers
- Définir et mettre en œuvre une stratégie de stockage
- Proposer des solutions de virtualisation
- Comprendre et mettre en œuvre des solutions de clustering de haute disponibilité et de répartition de charge
- Passer la certification « Administration d’un système Linux ».
ATTENTION : cette formation se déroule en plusieurs séquences. Les dates affichées correspondent aux dates de début du premier module.
Les + de la formation :
Le cursus se compose de sept modules de niveau progressif, de trois à cinq jours non consécutifs, afin de mettre vos connaissances en pratique dans votre environnement professionnel et ainsi mieux vous préparer au module suivant.
Ils permettent également de conserver une activité professionnelle tout au long de la formation.
Les participants déjà expérimentés et désireux de se perfectionner dans l’administration d’un système Linux peuvent intégrer la formation en cours de cursus après évaluation de leurs acquis.
| Tarif |
A partir de 10 990,00 € |
| Durée |
27j / 189h |
| Modes |
|
