Big Data - Les techniques d'analyse et de visualisation
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Charger et analyser des données de diverses sources avec Hadoop, NiFi, Kafka et Spark
- Restituer ces données avec Kibana.
| Tarif |
A partir de 3 800,00 € |
| Durée | 5 jours (35h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 3 800,00 € |
| Durée | 5 jours (35h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Vue d'ensemble du Big Data
- Introduction au Big Data : de quoi s'agit-il ?
- Perspectives offertes par le Big Data
- Les acteurs du Big Data
- Exemples pratiques
- Démystification du Big Data
- Big Data et Cloud SaaS, PaaS et FaaS
- Les différents métiers du Big Data
- Data Lakes vs Data Warehouses vs Lakehouses
- Aspects économiques :
- TCO (Total Cost of Ownership)
- Opportunity Cost (coût d'opportunité)
- ROI (retour sur investissement)
- Travaux pratiques sur Hadoop
- Aspects réglementaires (RGPD) et éthiques
Architecture Hadoop
- Les outils de stockage
- Les exigences de stockage
- Le théorème de CAP
- Le NoSQL
- L'écosystème Hadoop
- HDFS
- MapReduce
- Tez
- Les outils d'ingestion et d'analyse de données
- Spark
Jour 2
- Les outils d'ingestion et d'analyse de données (suite)
- Pig
- Hive
- Impala
- La mise en qualité
- Le stockage de données
Exemple de travaux pratiques (à titre indicatif)
- Création d'un pipeline simple sur Hadoop
Fondamentaux du Data Engineering
- Définition du Data Engineering
- Cycle de vie et workflow du Data Engineering
- Technologies du Data Engineering
- Evolution du métier de Data Engineer
- Compétences, activités et responsabilités du Data Engineer : Type A vs Type B
- Le Data Engineer au sein d'une Data Team
- Parties prenantes : producteurs upstream, consommateurs downstream
- Data Maturity d'une organisation
- Data Engineering, Agilité, DevOps et DataOps
- Gouvernance et qualité des données
- Nouvelles tendances du Data Engineering: Lakehouse, orchestration, Pipelines as Code
Exemple de travaux pratiques (à titre indicatif)
- Mise en pratique par des études de cas
Jour 3
NiFi
- Ingestion des données avec NiFi
- Différence entre données froides et données chaudes
- Présentation des outils et technologies du Big Data
- Installation et configuration de NiFi
- Vue d'ensemble de l'architecture NiFi
- Approches de développement
- Outils de développement d'applications et état d'esprit
- Extraction, transformation et chargement (ETL) des outils et de la mentalité
Exemple de travaux pratiques (à titre indicatif)
- Mise en oeuvre de NiFi
Visualisation des données avec Kibana
- Préparer les données pour Elasticsearch
- Construire un tableau de bord Kibana
- Créer des visualisations
Exemple de travaux pratiques (à titre indicatif)
- Ingestion de données avec NiFi
Jour 4
Streaming des données avec Kafka
- Comprendre comment Kafka utilise des logs
- Les "Topics"
- Les producteurs Kafka
- Les "Brokers"
- Les consommateurs Kafka
- Différences entre traitement batch et traitement en streaming
Exemples de travaux pratiques (à titre indicatif)
- Construire et tester un cluster Kafka et Zookeeper
Jour 5
Traitement des données avec Spark
- Introduction à Apache Spark
- Architecture de Spark
- Apache Spark MLlib
- Apache Spark Streaming
- Apache Spark SQL
- Apache Spark GraphX
Exemple de travaux pratiques (à titre indicatif)
- Construire un pipeline en temps réel avec Kafka et Spark
Examen M2i (en option)
- Prévoir l'achat de l'examen en supplément
- L'examen (en français) sera passé le dernier jour, à l'issue de la formation et s'effectuera en ligne
- Il s'agit d'un QCM dont la durée moyenne est d'1h30 et dont le score obtenu attestera d'un niveau de compétence
- L'examen n'est pas éligible au CPF, mais permettra néanmoins de valider vos acquis
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation et/ou un examen M2i
Les + de la formation
Un examen M2i permettant de valider vos acquis à l'issue de la formation est disponible sur demande (coût : 120€).
Prérequis
Public
Ces formations pourraient vous intéresser
Formation AWS : Créer des solutions d'analyse de données à l'aide d'Amazon Redshift (cours officiel)
Proposé par PLB CONSULTANTObjectifs de la formation
À l'issue de cette formation AWS Amazon Redshift vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comparer les caractéristiques et les avantages des entrepôts de données, des lacs de données et des architectures de données modernes
- Concevoir et mettre en œuvre une solution d'analyse d'entrepôt de données
- Identifier et appliquer les techniques appropriées, notamment la compression, pour optimiser le stockage des données
- Sélectionner et déployer les options appropriées pour ingérer, transformer et stocker les données
- Définir les types d'instances et de nœuds, les clusters, la mise à l'échelle automatique et la topologie réseau appropriés pour un cas d'utilisation particulier
- Examiner comment le stockage et le traitement des données affectent les mécanismes d'analyse et de visualisation nécessaires pour obtenir des informations commerciales exploitables
- Identifier comment sécuriser les données au repos et en transit
- Identifier et résoudre les problèmes en surveillant les charges de travail analytiques
- Expliquer les meilleures pratiques de gestion des coûts
| Tarif |
A partir de 820,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Expliquer les composants, contraintes et services d’une architecture de sécurité et les documents de référence
- Appréhender les techniques de défense en profondeur et les mécanismes de cloisonnement réseaux
- Définir, argumenter et documenter une architecture de sécurité de sécurité dans votre organisation
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Analyser et interpréter les besoins spécifiques d'un projet en utilisant des méthodes agiles
- Formuler et spécifier des solutions adaptées en rédigeant des User Stories précises et en maîtrisant les principes des tests fonctionnels
- Prioriser et planifier les tâches et les sprints en utilisant des techniques de priorisation avancées
- Évaluer et garantir la qualité à chaque étape du processus agile, en mettant l'accent sur les tests, la gestion des anomalies et la collaboration avec l'utilisateur final
| Tarif |
A partir de 390,00 € |
| Durée |
25 heures |
| Modes |
|
Objectifs de la formation
- Adopter une posture d'orateur, présent et clair
- Gérer son trac
- Optimiser sa voix et ses ressources corporelles
- Structurer son exposé
- Maîtriser les techniques qui augmente l'impact
- Comprendre et mettre en pratique toutes les dimensions de la prise de parole en public
- Savoir progresser dans ses interventions
| Tarif |
A partir de 1 395,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Détecter les fragilités d'un système par la connaissance des différentes cibles d'un piratage
- Appliquer des mesures et des règles basiques pour lutter contre le hacking
- Identifier le mécanisme des principales attaques.
| Tarif |
A partir de 3 350,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Découvrir la fonction du pilotage social dans les entreprises
- Gérer les techniques d'élaboration et l'utilisation des Tableaux de Bord et Bilans Sociaux
- Faire vivre les tableaux de bord
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Évaluation des compétences acquises via un questionnaire en ligne intégrant des mises en situation.
| Tarif |
A partir de 1 500,00 € |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire le concept du Big Data
- Extraire et exploiter les datas
- Evaluer l'impact pour les Systèmes d'Information (SI) de l'entreprise
- Appliquer la réglementation.
| Tarif |
A partir de 860,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Intégrer l'ensemble des composantes techniques et managériales pour accompagner et anticiper les besoins des métiers
- Poser des règles de fonctionnement claires et pérennes pour optimiser l'informatique et apporter la valeur attendue par les Directions Générales
- Fournir aux responsables informatiques et DSI les leviers pour faire évoluer leur Direction.
| Tarif |
A partir de 1 700,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Explorer les options de calcul et de stockage pour les charges de travail en matière d'ingénierie des données dans Azure
- Explorer, transformer et charger des données dans l'entrepôt de données à l'aide d'Apache Spark
- Effectuer l'exploration et la transformation des données dans Azure Databricks
- Transformer les données avec Azure Data Factory ou Azure Synapse Pipelines
- Optimiser les performances des requêtes avec des pools SQL dédiés dans Azure Synapse
- Prendre en charge le traitement analytique transactionnel hybride (HTAP) avec Azure Synapse Link
- Assurer la sécurité de bout en bout avec Azure Synapse Analytics
- Effectuez un traitement de flux en temps réel avec Stream Analytics
- Créer des rapports à l'aide de l'intégration Power BI avec Azure Synpase Analytics
- Exécuter des processus d'apprentissage automatique intégrés dans Azure Synapse Analytics
| Tarif |
A partir de 2 590,00 € |
| Durée |
4j / 28h |
| Modes |
|
