Formation Pig : Développement de scripts avec Apache Pig
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Développement de scripts avec Apache Pig vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comprendre le fonctionnement de Pig
- Développer des requêtes en avec Pig Latin pour effectuer des transformations sur les données et des analyses de données
- Intégrer des données de différents formats
| Tarif |
A partir de 1 360,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 1 360,00 € |
| Durée | 2 jours (14h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Intégré à la suite Hadoop, Pig est une plate-forme de haut niveau permettant la programmation parallèle de tâches MapReduce tournant dans un cluster Hadoop. Utilisé le plus souvent pour charger des données via des fichiers HDFS ou pour gérer des échanges de données entre des applications tierces, Pig pour le big data comprend deux éléments-clé : un compilateur et un langage de script nommé Pig Latin.
Durant cette formation Développement de scripts avec Apache Pig vous comprendrez le fonctionnement de Pig, vous saurez développer des requêtes avec Pig Latin pour effectuer des transformations sur les données et des analyses de données. Pour finir vous saurez intégrer des données de différents formats.
Programme
Introduction à Apache Pig
Le projet Apache Pig, fonctionnalités, versions
Présentation de Pig dans l'écosystème Hadoop
Chaîne de fonctionnement
Comparatif avec l'approche Hive ou Spark
Mise en œuvre de Pig
Rappels sur les commandes HDFS
Prérequis techniques, configuration de Pig
Travaux pratiques
Exécution : les différents modes : interactif ou batch
Principe de l'exécution de scripts Pig Latin avec Grunt
Base Pig Latin
Modèles de données avec Pig
Intégration Pig avec MapReduce
Les requêtes Latin : chargement de données, instructions
Ordres de bases : LOAD, FOREACH, FILTER, STORE
Travaux pratiques
Création d'un ETL de base
Contrôle d'exécution
Transformation des données via des opérations de filtre avec Pig Latin
Groupements, jointures, tris, produits cartésiens
Transformation de base de la donnée
Découpages
Découpages sur filtres
Analyse de la donnée
Echantillonages
Filtres
Rangements avec rank et dense
Calculs : min/max, sommes, moyennes...
Travaux pratiques
Traitements de chaînes de caractères
Traitement de dates
Intégration
Formats d'entrées/sorties
Interfaçage avro, json
Travaux pratiques
Chargement de données depuis HDFS vers HBase
Analyse de données Pig/Hbase
Restitution Json
Extensions du Pig Latin
Extension du Pig Latin
Création de fonctions UDF en Java
Intégration dans les scripts Pig
Travaux pratiques
Utilisation de Pig Latin depuis des programmes Python
Execution de programmes externes, streaming
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Créer une application graphique reposant sur la plate-forme Eclipse RCP
- Développer les écrans d'une application de gestion avec SWT et JFace
- Comprendre l'architecture et les fonctionnalités offertes par Eclipse RCP
- Savoir tester, construire et packager le produit final
- Comprendre les nouveautés et les avantages du développement en eclipse 4 (e4)
| Tarif |
A partir de 1 995,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Se familiariser avec la programmation réactive et la bibliothèque RxJS
- Utiliser les opérateurs de base pour manipuler des flux de données
- Gérer les erreurs
- Maîtriser l'utiliser des Subjects et le multicasting
- Intégrer RxJS dans une application Angular
- Mettre en œuvre les meilleures pratiques de développement RxJS
| Tarif |
A partir de 1 300,00 € |
| Durée |
2 jours |
| Modes |
|
Formation FTTH, FTTx : Architecture, technologies et conduite de projets fibre optique
Proposé par PLB CONSULTANTObjectifs de la formation
À l’issue de cette formation Fibre Optique FTTH, vous aurez acquis les connaissances et compétences nécessaires pour :
- Présenter les enjeux des accès très haut débit dans le développement de l’aménagement numérique, la place du FTTH parmi les technologies très haut débit, et différencier les alternatives technologiques d’accès haut et très haut débit fixe et mobile
- Décrire le contexte réglementaire et ses évolutions, du partage d’infrastructure à la mutualisation, les offres de services, la place des collectivités locales, les différentes formes d’intervention des RIP (Réseaux d'Initiatives Publics), les procédures de gestion des délégataires (affermage, DSP), les relations avec les acteurs des territoires
- Comprendre les principales approches des acteurs sur le marché de l'accès en fibre optique FTTH, FTTB, FTTx et FTTC (MeD)
- Expliquer les points clefs d’un déploiement FTTH, la conduite d'un projet de déploiement, la coordination des acteursle contrôle des délégataires, les principes de la loi MOP
- Décrire les principes des technologies GPON, XGS-PON et leurs évolutions
- Comprendre le partage d’infrastructure (BLOD, BLOM), intégrer les problématiques de déploiement, génie civil, l'importance de la collecte
- Nommer les différents services offerts par les réseaux et particulièrement dans le contexte du très haut débit, discuter les perspectives
| Tarif |
A partir de 1 860,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Définir la ville durable et prendre en compte les outils réglementaires et normatifs
- Identifier les démarches d'évaluation des impacts environnementaux et définir les solutions de conception d'un projet urbain durable
- Mettre en œuvre le développement durable aux différentes étapes et niveaux de management d'un projet
| Tarif |
A partir de 1 585,00 € |
| Durée |
2 jours - 14 heures |
| Modes |
|
Objectifs de la formation
- Développer du code Rust adapté à des environnements à ressources limitées
- Organiser et configurer un projet Rust dédié au développement de systèmes embarqués
- Créer des applications embarquées en Rust, en appliquant des pratiques de programmation et des architectures logicielles adaptées à ce type de développement
- Mettre en place un projet Rust pour le développement de modules pour le kernel Linux
- Concevoir et implémenter du code Rust efficace et sécurisé pour le kernel Linux
| Tarif |
A partir de 2 250,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
- Apprendre à utiliser Apache Active MQ
- Savoir utiliser Java Message Service (JMS)
- Pouvoir monitorer ActiveMQ
- Manier la connectivité d'ActiveMQ
- Savoir stocker des messages
- Mettre en place la sécurité
- Pouvoir embarquer ActiveMQ dans des applications Java et Spring
- Intégrer ActiveMQ à des serveurs d'applications
| Tarif |
A partir de 1 800,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
- Comprendre les enjeux du test logiciel pour la qualité des développements
- Intégrer une méthodologie de conception dans un projet logiciel
- Concevoir des tests unitaires avec le framework JUnit
- Utiliser des objets Mocks dans la mise en œuvre des tests unitaires
- Concevoir des tests dans un environnement Jakarta EE
- Concevoir et exécuter des tests dans une application utilisant le framework Spring
- Mettre en œuvre les Design Patterns dans les applications Java
- Utiliser les bonnes pratiques d'architecture logicielle dans ses projets
- Savoir mettre en place une stratégie de supervision des applications Java
- Utiliser un profiler de code pour anticiper les dysfonctionnements des applications
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Formation Plan de développement des compétences : optimiser sa gestion opérationnelle
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Appliquer les étapes clés de l'élaboration du plan de développement des compétences
- Organiser la mise en place et le suivi du plan de développement des compétences
- Traiter l'achat, la mise en œuvre et le suivi des actions de formation
| Tarif |
A partir de 1 618,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Développement Sécurisé en C++ vous aurez acquis les connaissances et compétences nécessaires pour :
- Connaître le fonctionnement de la pile
- Repérer les erreurs dans le code
- Connaître le rôle des acteurs et la classification des risques : CERT, CWE, OWASP
- Appliquer les bonnes pratiques.
| Tarif |
A partir de 1 580,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
4 jours (28 heures) |
| Modes |
|
