Big Data - Les techniques d'analyse et de visualisation

Public admis

  • Salarié en Poste
  • Demandeur d'emploi
  • Entreprise
  • Etudiant

Financements

Eligible CPF Votre OPCO Financement personnel

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Charger et analyser des données de diverses sources avec Hadoop, NiFi, Kafka et Spark
  • Restituer ces données avec Kibana.

M2I


Un leadership dans le domaine de la formation
Voir la fiche entreprise

Tarif

A partir de 3 800,00 €

Durée 5 jours  (35h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

M2I


Un leadership dans le domaine de la formation
Voir la fiche

Tarif

A partir de 3 800,00 €

Durée 5 jours  (35h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

Programme

Jour 1

Vue d'ensemble du Big Data

  • Introduction au Big Data : de quoi s'agit-il ?
  • Perspectives offertes par le Big Data
  • Les acteurs du Big Data
  • Exemples pratiques
  • Démystification du Big Data
  • Big Data et Cloud SaaS, PaaS et FaaS
  • Les différents métiers du Big Data
  • Data Lakes vs Data Warehouses vs Lakehouses
  • Aspects économiques :
    • TCO (Total Cost of Ownership)
    • Opportunity Cost (coût d'opportunité)
    • ROI (retour sur investissement)
  • Travaux pratiques sur Hadoop
  • Aspects réglementaires (RGPD) et éthiques

Architecture Hadoop

  • Les outils de stockage
  • Les exigences de stockage
  • Le théorème de CAP
  • Le NoSQL
  • L'écosystème Hadoop
    • HDFS
    • MapReduce
    • Tez
  • Les outils d'ingestion et d'analyse de données
    • Spark

Jour 2

  • Les outils d'ingestion et d'analyse de données (suite)
    • Pig
    • Hive
    • Impala
  • La mise en qualité
  • Le stockage de données

Exemple de travaux pratiques (à titre indicatif)

  • Création d'un pipeline simple sur Hadoop

Fondamentaux du Data Engineering

  • Définition du Data Engineering
  • Cycle de vie et workflow du Data Engineering
  • Technologies du Data Engineering
  • Evolution du métier de Data Engineer
  • Compétences, activités et responsabilités du Data Engineer : Type A vs Type B
  • Le Data Engineer au sein d'une Data Team
  • Parties prenantes : producteurs upstream, consommateurs downstream
  • Data Maturity d'une organisation
  • Data Engineering, Agilité, DevOps et DataOps
  • Gouvernance et qualité des données
  • Nouvelles tendances du Data Engineering: Lakehouse, orchestration, Pipelines as Code

Exemple de travaux pratiques (à titre indicatif)

  • Mise en pratique par des études de cas

Jour 3

NiFi

  • Ingestion des données avec NiFi
  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies du Big Data
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
Exemple de travaux pratiques (à titre indicatif)
  • Mise en oeuvre de NiFi

Visualisation des données avec Kibana

  • Préparer les données pour Elasticsearch
  • Construire un tableau de bord Kibana
  • Créer des visualisations

Exemple de travaux pratiques (à titre indicatif)

  • Ingestion de données avec NiFi

Jour 4

Streaming des données avec Kafka

  • Comprendre comment Kafka utilise des logs
  • Les "Topics"
  • Les producteurs Kafka
  • Les "Brokers"
  • Les consommateurs Kafka
  • Différences entre traitement batch et traitement en streaming

Exemples de travaux pratiques (à titre indicatif)

  • Construire et tester un cluster Kafka et Zookeeper

Jour 5

Traitement des données avec Spark

  • Introduction à Apache Spark
  • Architecture de Spark
  • Apache Spark MLlib
  • Apache Spark Streaming
  • Apache Spark SQL
  • Apache Spark GraphX

Exemple de travaux pratiques (à titre indicatif)

  • Construire un pipeline en temps réel avec Kafka et Spark

Examen M2i (en option)

  • Prévoir l'achat de l'examen en supplément
  • L'examen (en français) sera passé le dernier jour, à l'issue de la formation et s'effectuera en ligne
  • Il s'agit d'un QCM dont la durée moyenne est d'1h30 et dont le score obtenu attestera d'un niveau de compétence
  • L'examen n'est pas éligible au CPF, mais permettra néanmoins de valider vos acquis

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation et/ou un examen M2i

Les + de la formation

Un examen M2i permettant de valider vos acquis à l'issue de la formation est disponible sur demande (coût : 120€).

Prérequis

Avoir des connaissances en langage Python pour l'analyse de données via Spark. Maîtriser le langage de requêtage SQL. Avoir des connaissances en ETL et en BI est un plus.

Public

Data Engineers, Data Scientists, Data Analysts, ingénieurs DevOps, développeurs, architectes Big Data, chefs de projets.

Ces formations pourraient vous intéresser

Objectifs de la formation

  • Évaluer les compétences actuelles et les attentes en matière de perfectionnement Word
  • Maîtriser les techniques avancées de mise en forme et de mise en page
  • Utiliser efficacement les styles, thèmes et modèles
  • Intégrer des insertions automatiques et des composants QuickPart de manière experte
  • Structurer et organiser de manière avancée les documents longs
  • Manipuler de façon experte les tableaux et objets graphiques
  • Créer des formulaires interactifs pour une utilisation avancée
  • Optimiser l'utilisation des fonctionnalités de publipostage et de fusion de données
Tarif

A partir de 800,00 €

Durée

2 jours

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Préparer, passer et obtenir votre certification officielle du CCC Big Data Foundation !
  • Connaître les fondamentaux du Big Data
  • Connaître les sources, le Data Mining et les principales technologies Big Data
  • Maîtriser les fondamentaux de Apache Hadoop et MongoDB
Tarif

A partir de 2 250,00 €

Durée

3 jours

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Intégrer les principes fondamentaux : concept de pleine concurrence, démarche prix de transfert
  • Utiliser les outils d'analyse prix de transfert : analyse fonctionnelle, analyse économique, comparabilité
  • Sélectionner une méthode de prix de transfert dans une situation donnée
Tarif

A partir de 1 113,00 €

Durée

1 jour

Modes
  • Entreprise
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Définir et vous approprier les missions et rôles d'un tuteur accompagnant
  • Identifier les caractéristiques et les motivations au travail des générations Y et Z
  • Adapter votre communication et vos comportements à ces nouvelles générations
  • Définir efficacement un objectif pédagogique
  • Expliquer, briefer et débriefer en situation d'apprentissage
  • Utiliser des techniques d'accompagnement adaptées
  • Pratiquer une écoute active permettant de comprendre et vous faire comprendre
  • Evaluer les progressions et les résultats des apprentissages dont vous avez la charge
  • Mettre en place les conditions d'accueil d'un alternant
  • Planifier l'accompagnement d'un alternant
  • Identifier les compétences à transmettre en lien avec les parcours scolaires d'un alternant
  • Gérer les relations avec les différents acteurs de l'apprentissage.
Tarif

A partir de 1 380,00 €

Durée

2j / 14h

Modes
  • Centre
  • Distance

Formation Le management du changement

Proposé par LEFEBVRE DALLOZ COMPETENCES

Objectifs de la formation

  • Préparer le changement
  • Mettre en œuvre le plan d'action
  • Evaluer le changement
Tarif

A partir de 1 632,00 €

Durée

2 jours

Modes
  • Entreprise
  • Centre
  • Distance

Objectifs de la formation

  • Comprendre et découvrir les différentes étapes liées aux techniques de conceptions graphiques
  • Apprendre à mieux communiquer avec son imprimeur et les technologies d’impressions
Tarif

A partir de 790,00 €

Durée

4 heures 30 minutes

Modes

Objectifs de la formation

  • Installer et désinstaller chaque composant d'un PC en partant d'un boîtier vide
  • Résoudre les problèmes et incidents classiques avec une méthodologie éprouvée (alimentation insuffisante, consommation USB mal évaluée, dimension de partition mal évaluée, conflits divers, incompatibilité des mémoires...)
  • Installer et gérer des smartphones à partir de votre PC
  • Connaître les configurations matérielles nécessaires et suffisantes aux différentes activités d'un PC (Bureautique, Station de travail, Serveur WEB, etc.)
  • Connaître les caractéristiques des modèles standards des grands constructeurs (HP, DELL, IBM, ...)
  • Connaître les points d'entrée fondamentaux de la configuration matérielle sous Windows
Tarif

A partir de 2 390,00 €

Durée

4j / 28h

Modes
  • Centre
  • Entreprise

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Définir de façon approfondie les composantes et les opérations d'un programme de cybersécurité en conformité avec l'ISO/IEC 27032 et le Cadre de Cybersécurité NIST (National Institute of Standards and Technology)
  • Décrire l'objectif, le contenu et la corrélation entre l'ISO/IEC 27032 et le Cadre de Cybersécurité NIST ainsi qu'avec d'autres normes et cadres opérationnels
  • Identifier les concepts, les approches, les normes, les méthodes et les techniques pour établir, mettre en oeuvre et gérer efficacement un programme de cybersécurité au sein d'une organisation
  • Interpréter les lignes directrices de l'ISO/IEC 27032 dans le contexte spécifique d'une organisation
  • Planifier, mettre en oeuvre, gérer, contrôler et maintenir un programme de cybersécurité tel que spécifié dans l'ISO/IEC 27032 et le Cadre de Cybersécurité NIST
  • Conseiller une organisation sur les bonnes pratiques de gestion de la cybersécurité.
Tarif

A partir de 3 500,00 €

Durée

5j / 35h

Modes
  • Centre
  • Distance

Objectifs de la formation

  • Analyser les sociétés non cotées et l'impact de l'entrée de ce type de signature dans les portefeuilles
  • Préciser les spécificités techniques de l'analyse financière de ces entreprises
  • Evaluer les enjeux juridiques, financiers et de communication de ces entreprises pour la gestion d'actifs
Tarif

Contacter l'organisme

Durée

Nous contacter

Modes

Objectifs de la formation

  • Choisir les indicateurs
  • Élaborer des tableaux de bord
  • Identifier les techniques d'évaluation performantes
  • Créer un programme Web Analytic
Tarif

A partir de 1 390,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Je cherche à faire...