Formation Talend : intégration de données pour le Big Data
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Talend pour le Big Data, vous aurez acquis les connaissances et compétences nécessaires pour :
- Lister les composants et fonctionnalités de Talend dans un environnement Big Data
- Créer des jobs Talend faisant interagir des fichiers, et base de données Big Data
- Connaître les bonnes pratiques de développements avec Talend
- Lire et écrire des données sur HDFS et dans des bases de données NoSQL avec des Jobs Talend
- Réaliser des Jobs de transformation à l’aide de Pig et Hive
- Utiliser les composants de gestion de qualité de donnée
- Réaliser des Jobs de migration de base de données relationnelles dans Hadoop avec Sqoop
- Créer des traitements ETL (Extraction, Transform and Load) de bout en bout en environnement Big Data
| Tarif |
A partir de 2 100,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 100,00 € |
| Durée | 3 jours (21h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Considéré comme un pionnier de l'open source dans l'univers de la business intelligence, Talend (Talend Open Studio for Big Data) s'est également progressivement imposé comme une référence dans le Big Data. Tirant partie des bases de données cloud (Hadoop, NoSQL), Talend pour le Big Data s'appuie par ailleurs sur les modules Hadoop (HDFS, Hive, Pig) et sur de nombreux connecteurs cloud (AWS, GCP, Azure) afin de proposer de la gestion de fichiers, de l'orchestration des flux de données, de l'importation et chargement vers un data lake et naturellement les fonctionnalités ETL et ELT.
Programme
Concepts de bases
Tour d’horizon des composants et philosophie de l’outilsOuvrir un projet
Quelles différences pour Talend dans le contexte Big Data
Les spécificités liées au Big Data
Monitorer un cluster Hadoop
Créer un cluster de métadonnées
Lire et écrire des données en HDFS
Principes d’un système de fichiers distribuéEnregistrer un fichier sur du HDFS
Manipulations d’un grand nombre de fichiers et de gros fichiers
Lire les données de HDFS
Hbase une base NoSQL orientée colonnes au-dessus de HDFSTravaux pratiquesUtiliser HBase pour sauvegarder les données charger dans HDFS avec des jobs Talend
Lecture écriture de données dans la base
Travailler avec les tables
Comment apporter la dimension relationnelle ?Vue générale de Hive
Utiliser Sqoop pour faciliter la migration de bases de données relationnelles dans HadoopTravaux pratiquesRéaliser des Jobs de migration de base de données relationnelles dans Hadoop avec Sqoop
Création de tables dans HDFS avec Hive
Traitement des données et des tables en HDFS (Pig et Hive)
Traitement des tables Hive avec des jobsTraitement des données avec Pig
Traitement des données par lotsTravaux pratiquesRéaliser des Jobs Talend de transformation à l'aide de Pig et HiveJour 2
Guide de dépannage et bonnes pratiques
Dépannage de votre clusterLes composants de qualité de donnéesTravaux pratiquesRéaliser des Jobs de transformation et gestion de la qualité de donnée
Cas d'utilisation de clickstream (flux de clics)
Surveillance du cluster HadoopCréer un environnement de développement
Chargement des données dans HDFS
Enrichissement des logs
Calculer les statistiques
Conversion d'un job standard en un lot Big Data
Comprendre les jobs MapReduceTravaux pratiquesUtilisation du studio pour configurer les ressource requests vers YARN
Cas d'utilisation : l'analyse comportementale
Chargement du dictionnaire et des données du fuseau horaire dans HDFSChargement des tweets dans HDFS
Traitement des tweets avec MapReduce
Planification de l'exécution du jobJour 3
Introduction à Kafka
Exemples d’applications et de flux de messagesProblématiques posées pour la gestion et le dispatch de ces flux
Ce que propose Kafka
Publication de messages sur un sujet Kafka
Consommer des messages Kafka dans TalendTravaux pratiquesLire des messages d'un sujet Kafka donné (broker list, starting offset, topic name, etc.), paramétrer la fréquence d’analyse, extraction de champs hashtag pour modifier la casse, compteur d’occurrence
Introduction à Spark
Comprendre les bases de SparkAnalyser les données des clients
Produire et consommer des flux en temps réel
Différents modes pour les job Talend Spark (local, standalone, yarn client)
Création d’un job Spark
Tests de Jobs Spark à l’aide de scénarios de testTravaux pratiquesCréation de jobs Spark deployés dans un cluster compatible Spark
Cas d'utilisation de traitement des logs : génération des logs enrichis
Introduction au cas d'utilisation du traitement des loisGénération de logs bruts
Génération de logs enrichis
Traitement des logs cas d'utilisation : surveillance
Surveillance des logs enrichisCas d'utilisation de traitement des logs : rapports
Génération de rapports basés sur les fenêtres de donnéesCas d'utilisation de traitement des logs : analyse des batchs
Ingestion de flux de donnéesAnalyser les logs avec un batch job
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
À l’issue de cette formation Spring Cloud Stream et Kafka, vous aurez acquis les connaissances et les compétences nécessaires pour :
- Mettre en place l'environnement de développement Spring Cloud Data Stream
- Concevoir une architecture microservices basée sur Kafka et Spring Cloud
- Adopter une programmation fonctionnelle
- Mettre en place une topologie de processeurs Kafka avec SpringBoot
- Surveiller et récolter les métriques d’une telle architecture
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Découvrir et utiliser la puissance prédictive des modèles ensemblistes
- Savoir effectuer un "feature engineering" performant
- Appréhender les techniques de text-mining et de deep-learning à travers d'exemples concrets
- Enrichir ses outils de data scientist
| Tarif |
A partir de 2 500,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
Plus concrètement, à l'issue de cette formation MS Dynamics 365 Module Ventes vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comprendre comment installer et configurer le module Ventes
- Savoir identifier les scenarios communs de vente
- Concevoir un cycle de vente complet
- Être capable de configurer le catalogue produit
- Comprendre comment gérer les enregistrements clients
- Savoir utiliser les outils d'analyse avec les droits d'accès utilisateurs de gestionnaire de données client et en utilisant les fonctionnalités de sécurité
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
Concrètement, à l'issue de cette formation Microsoft Azure Développement vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre comment déployer son application dans Azure
- Savoir mettre à l’échelle son application en fonction de la demande
- Créer et gérer les fonctionnalités en arrière-plan de son application
- Comprendre comment utiliser les différentes possibilités de stockage de données dans le cadre de nouveaux développements
- Comprendre comment déployer son application via des machines virtuelles ou des solutions conteneurisées
- Comprendre comment intégrer de façon native la sécurité dans les développements
- Savoir utiliser les différentes solutions de services de messages et d'événements d'Azure
- Connaître les outils de surveillance des applications
| Tarif |
A partir de 3 550,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Comprendre les mécanismes d’une application MV* en JavaScript,
- Comprendre le fonctionnement de Backbone.js et l’utiliser,
- Maîtriser les implications techniques et les choix d’architecture inhérents à ce type d’application,
- Développer des solutions mettant en œuvre la brique de base Backbone.js et utiliser un top-framework,
- Mettre en place une stratégie d’assurance qualité de développement d’applications web modulaires.
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
Objectifs de la formation
- Décrire les principes de fonctionnement des architectures REST et de développement des Services Web
- Mettre en place l’API Jakarta RESTful Web Services dans une application
- Implémenter des classes de Services REST
- Manipuler les différents formats d’échange de données entre le client et le serveur
- Invoquer des services REST à partir d'une application Java
- Mettre en place une communication bidirectionnelle grâce aux Web Sockets
- Sécuriser les appels à vos Services REST en intégrant un mécanisme d’authentification
- Déployer les Services sur un serveur d’applications
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Infrastructure de Data Center vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre l'infrastructure des Data Center
- Connaître l'état du marché ainsi que les principales normes en vigueur
- Connaître les problématiques récurrentes lors de l'installation, l'exploitation ou la maintenance d'un Data Center
- Comprendre les enjeux et impacts énergétiques découlant d'un Data Center (gestion thermique, gestion électrique...)
- Identifier les différents types de câblage des données
- Appréhender les fondamentaux de la sécurité au sein d'un Data Center
| Tarif |
A partir de 2 290,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
3 jours (21 heures) |
| Modes |
|
