Big Data - Les techniques d'analyse et de visualisation

Qualiopi
À partir de 3800 €
Durée 35h en 5 jours
Localisation Partout en France
Logo de M2I - Big Data - Les techniques d'analyse et de visualisation

Proposé par

M2I

Prérequis

Avoir des connaissances en langage Python pour l'analyse de données via Spark. Maîtriser le langage de requêtage SQL. Avoir des connaissances en ETL et en BI est un plus.

Public admis

  • Salarié en Poste
  • Entreprise

Demandeur d'emploi et Etudiant non admis

Financement

  • Votre OPCO
  • Financement personnel

Financement CPF non pris en charge

Modalités

  • En centre
  • À distance

Objectifs pédagogiques

A l'issue de cette formation, vous serez capable de :

  • Charger et analyser des données de diverses sources avec Hadoop, NiFi, Kafka et Spark
  • Restituer ces données avec Kibana.

Programme de la formation

Jour 1

Vue d'ensemble du Big Data

  • Introduction au Big Data : de quoi s'agit-il ?
  • Perspectives offertes par le Big Data
  • Les acteurs du Big Data
  • Exemples pratiques
  • Démystification du Big Data
  • Big Data et Cloud SaaS, PaaS et FaaS
  • Les différents métiers du Big Data
  • Data Lakes vs Data Warehouses vs Lakehouses
  • Aspects économiques :
    • TCO (Total Cost of Ownership)
    • Opportunity Cost (coût d'opportunité)
    • ROI (retour sur investissement)
  • Travaux pratiques sur Hadoop
  • Aspects réglementaires (RGPD) et éthiques

Architecture Hadoop

  • Les outils de stockage
  • Les exigences de stockage
  • Le théorème de CAP
  • Le NoSQL
  • L'écosystème Hadoop
    • HDFS
    • MapReduce
    • Tez
  • Les outils d'ingestion et d'analyse de données
    • Spark

Jour 2

  • Les outils d'ingestion et d'analyse de données (suite)
    • Pig
    • Hive
    • Impala
  • La mise en qualité
  • Le stockage de données

Exemple de travaux pratiques (à titre indicatif)

  • Création d'un pipeline simple sur Hadoop

Fondamentaux du Data Engineering

  • Définition du Data Engineering
  • Cycle de vie et workflow du Data Engineering
  • Technologies du Data Engineering
  • Evolution du métier de Data Engineer
  • Compétences, activités et responsabilités du Data Engineer : Type A vs Type B
  • Le Data Engineer au sein d'une Data Team
  • Parties prenantes : producteurs upstream, consommateurs downstream
  • Data Maturity d'une organisation
  • Data Engineering, Agilité, DevOps et DataOps
  • Gouvernance et qualité des données
  • Nouvelles tendances du Data Engineering: Lakehouse, orchestration, Pipelines as Code

Exemple de travaux pratiques (à titre indicatif)

  • Mise en pratique par des études de cas

Jour 3

NiFi

  • Ingestion des données avec NiFi
  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies du Big Data
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
Exemple de travaux pratiques (à titre indicatif)
  • Mise en oeuvre de NiFi

Visualisation des données avec Kibana

  • Préparer les données pour Elasticsearch
  • Construire un tableau de bord Kibana
  • Créer des visualisations

Exemple de travaux pratiques (à titre indicatif)

  • Ingestion de données avec NiFi

Jour 4

Streaming des données avec Kafka

  • Comprendre comment Kafka utilise des logs
  • Les "Topics"
  • Les producteurs Kafka
  • Les "Brokers"
  • Les consommateurs Kafka
  • Différences entre traitement batch et traitement en streaming

Exemples de travaux pratiques (à titre indicatif)

  • Construire et tester un cluster Kafka et Zookeeper

Jour 5

Traitement des données avec Spark

  • Introduction à Apache Spark
  • Architecture de Spark
  • Apache Spark MLlib
  • Apache Spark Streaming
  • Apache Spark SQL
  • Apache Spark GraphX

Exemple de travaux pratiques (à titre indicatif)

  • Construire un pipeline en temps réel avec Kafka et Spark

Examen M2i (en option)

  • Prévoir l'achat de l'examen en supplément
  • L'examen (en français) sera passé le dernier jour, à l'issue de la formation et s'effectuera en ligne
  • Il s'agit d'un QCM dont la durée moyenne est d'1h30 et dont le score obtenu attestera d'un niveau de compétence
  • L'examen n'est pas éligible au CPF, mais permettra néanmoins de valider vos acquis

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation et/ou un examen M2i

Les + de la formation

Un examen M2i permettant de valider vos acquis à l'issue de la formation est disponible sur demande (coût : 120€).

Logo de M2I - Formation Big Data - Les techniques d'analyse et de visualisation

Proposé par

M2I

"Un leadership dans le domaine de la formation"

Voir la fiche entreprise
À partir de 3800 €
Logo de M2I - Big Data - Les techniques d'analyse et de visualisation

Big Data - Les techniques d'analyse et de visualisation

0 ville proposant cette formation
Logo

La 1ère plateforme pour trouver une formation, choisir son orientation ou construire son projet de reconversion.

© 2024 France Carrière. Tous droits réservés.