Big Data - Les techniques d'analyse et de visualisation

Public admis

  • Salarié en Poste
  • Demandeur d'emploi
  • Entreprise
  • Etudiant

Financements

Eligible CPF Votre OPCO Financement personnel

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Charger et analyser des données de diverses sources avec Hadoop, NiFi, Kafka et Spark
  • Restituer ces données avec Kibana.

M2I


Un leadership dans le domaine de la formation
Voir la fiche entreprise

Tarif

A partir de 3 800,00 €

Durée 5 jours  (35h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

M2I


Un leadership dans le domaine de la formation
Voir la fiche

Tarif

A partir de 3 800,00 €

Durée 5 jours  (35h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

Programme

Jour 1

Vue d'ensemble du Big Data

  • Introduction au Big Data : de quoi s'agit-il ?
  • Perspectives offertes par le Big Data
  • Les acteurs du Big Data
  • Exemples pratiques
  • Démystification du Big Data
  • Big Data et Cloud SaaS, PaaS et FaaS
  • Les différents métiers du Big Data
  • Data Lakes vs Data Warehouses vs Lakehouses
  • Aspects économiques :
    • TCO (Total Cost of Ownership)
    • Opportunity Cost (coût d'opportunité)
    • ROI (retour sur investissement)
  • Travaux pratiques sur Hadoop
  • Aspects réglementaires (RGPD) et éthiques

Architecture Hadoop

  • Les outils de stockage
  • Les exigences de stockage
  • Le théorème de CAP
  • Le NoSQL
  • L'écosystème Hadoop
    • HDFS
    • MapReduce
    • Tez
  • Les outils d'ingestion et d'analyse de données
    • Spark

Jour 2

  • Les outils d'ingestion et d'analyse de données (suite)
    • Pig
    • Hive
    • Impala
  • La mise en qualité
  • Le stockage de données

Exemple de travaux pratiques (à titre indicatif)

  • Création d'un pipeline simple sur Hadoop

Fondamentaux du Data Engineering

  • Définition du Data Engineering
  • Cycle de vie et workflow du Data Engineering
  • Technologies du Data Engineering
  • Evolution du métier de Data Engineer
  • Compétences, activités et responsabilités du Data Engineer : Type A vs Type B
  • Le Data Engineer au sein d'une Data Team
  • Parties prenantes : producteurs upstream, consommateurs downstream
  • Data Maturity d'une organisation
  • Data Engineering, Agilité, DevOps et DataOps
  • Gouvernance et qualité des données
  • Nouvelles tendances du Data Engineering: Lakehouse, orchestration, Pipelines as Code

Exemple de travaux pratiques (à titre indicatif)

  • Mise en pratique par des études de cas

Jour 3

NiFi

  • Ingestion des données avec NiFi
  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies du Big Data
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
Exemple de travaux pratiques (à titre indicatif)
  • Mise en oeuvre de NiFi

Visualisation des données avec Kibana

  • Préparer les données pour Elasticsearch
  • Construire un tableau de bord Kibana
  • Créer des visualisations

Exemple de travaux pratiques (à titre indicatif)

  • Ingestion de données avec NiFi

Jour 4

Streaming des données avec Kafka

  • Comprendre comment Kafka utilise des logs
  • Les "Topics"
  • Les producteurs Kafka
  • Les "Brokers"
  • Les consommateurs Kafka
  • Différences entre traitement batch et traitement en streaming

Exemples de travaux pratiques (à titre indicatif)

  • Construire et tester un cluster Kafka et Zookeeper

Jour 5

Traitement des données avec Spark

  • Introduction à Apache Spark
  • Architecture de Spark
  • Apache Spark MLlib
  • Apache Spark Streaming
  • Apache Spark SQL
  • Apache Spark GraphX

Exemple de travaux pratiques (à titre indicatif)

  • Construire un pipeline en temps réel avec Kafka et Spark

Examen M2i (en option)

  • Prévoir l'achat de l'examen en supplément
  • L'examen (en français) sera passé le dernier jour, à l'issue de la formation et s'effectuera en ligne
  • Il s'agit d'un QCM dont la durée moyenne est d'1h30 et dont le score obtenu attestera d'un niveau de compétence
  • L'examen n'est pas éligible au CPF, mais permettra néanmoins de valider vos acquis

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation et/ou un examen M2i

Les + de la formation

Un examen M2i permettant de valider vos acquis à l'issue de la formation est disponible sur demande (coût : 120€).

Prérequis

Avoir des connaissances en langage Python pour l'analyse de données via Spark. Maîtriser le langage de requêtage SQL. Avoir des connaissances en ETL et en BI est un plus.

Public

Data Engineers, Data Scientists, Data Analysts, ingénieurs DevOps, développeurs, architectes Big Data, chefs de projets.

Ces formations pourraient vous intéresser

Objectifs de la formation

Avoir une expérience significative en gestion de la relation client - Avoir créé des propositions commerciales, réponses à  appels d'offres - Découvrir les outils et techniques pour fidéliser les clients grands comptes - Apprendre à  rédiger une proposition commerciale pour un compte clef
Tarif

A partir de 1 350,00 €

Durée

3j / 21h

Modes
  • Centre
  • Entreprise
  • Distance

Immuno-hématologie générale

Proposé par BIOFORMATION

Objectifs de la formation

  • Connaître les différentes techniques en immuno-hématologie
  • Effecteur le rendu des résultats
Tarif

A partir de 1 160,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Identifier les fonctionnalités et possibilités de Citrix ADC 13.x
  • Définir les bases de l'architecture réseau Citrix ADC 13.x
  • Expliquer comment SSL/TLS est utilisé pour sécuriser Citrix ADC 13.x
  • Configurer l'authentification et l'autorisation
  • Intégrer Citrix Gateway avec Citrix Virtual Apps and Desktops
  • Intégrer Unified Gateway avec des ressources additionnelles
  • Employer les outils recommandés et les techniques pour dépanner les problèmes de connectivité courants du réseau Citrix Gateway.
Tarif

A partir de 4 015,00 €

Durée

5j / 35h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire l'histoire du SRE (Site Reliability Engineering) et son émergence chez Google
  • Expliquer l'inter-relation du SRE avec DevOps et d'autres cadres populaires
  • Définir les principes sous-jacents du SRE
  • Identifier les SLO (Service Level Objectives) et leur orientation vers l'utilisateur
  • Gérer les SLI (Service Level Indicators) et le contexte moderne de surveillance
  • Mettre en place des budgets d'erreurs et les politiques budgétaires d'erreurs associées
  • Expliquer le "Toil" et ses effets sur la productivité d'une organisation
  • Décrire quelques mesures pratiques qui peuvent aider à éliminer le "Toil"
  • Mettre en oeuvre l'observabilité comme indicateur de l'état de santé d'un service
  • Décrire les outils SRE, techniques d'automatisation et l'importance de la sécurité
  • Expliquer l'antifragilité, l'approche de l'erreur et les tests d'erreur
  • Mesurer l'impact organisationnel de la mise en place du SRE.
Tarif

A partir de 1 580,00 €

Durée

2j / 16h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Identifier les différents types de mémoire et leur fonctionnement physiologique
  • Définir la mémoire et ses formes et expliquer comment les souvenirs se forment
  • Utiliser les sens pour développer l'attention et la concentration
  • Utiliser vos émotions pour améliorer votre mémoire
  • Développer des techniques d'entraînement pour améliorer la mémoire et la concentration
  • Maîtriser les différentes étapes de la mémorisation
  • Appliquer des procédés mnémotechniques et la verbalisation de l'information pour optimiser la mémoire à court et long terme
  • Mettre en place des habitudes d'hygiène de vie favorables à la mémoire
  • Détecter les facteurs de déconcentration professionnelle
  • Appliquer des méthodes pour intégrer rapidement de nouvelles informations.
Tarif

A partir de 1 380,00 €

Durée

2j / 14h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Identifier les architectures de routage avancé
  • Mettre en oeuvre les IGP suivants : RIP, OSPF
  • Optimiser et filtrer le routage au sein des IGP
  • Décrire la redistribution inter-protocole
  • Créer un VPN multipoint
  • Superviser le routage
  • Mettre en place le PBR
  • Mettre en oeuvre le voisinage BGP et gérer le routage BGP
  • Expliquer MPLS et les VRF
  • Définir les concepts de QoS
  • Mettre en oeuvre un tunnel IPsec.
Tarif

A partir de 3 350,00 €

Durée

5j / 35h

Modes
  • Centre
  • Distance

Objectifs de la formation

  • Acquérir des techniques pour rendre ses écrits professionnels attractifs.
  • Organiser son travail de rédaction.
  • Canaliser sa créativité pour exprimer ses idées.
  • Utiliser des outils d'IA.
Tarif

A partir de 1 505,00 €

Durée

2 jours (14 heures)

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire la terminologie IREB
  • Identifier les principales pratiques de l'ingénierie des exigences
  • Expliquer les 3 grandes techniques que sont l'élucidation, la spécification (documentation) et la validation
  • Vous préparer et passer l'examen de certification CPRE Foundation.
Tarif

A partir de 1 850,00 €

Durée

3j / 21h

Modes
  • Centre
  • Distance

Objectifs de la formation

  • Gérer la programmation orientée objet
  • Manier le PHP Data Object (PDO) et les bases de données
  • Utiliser XML avec PHP
  • Utiliser PHP pour les services Web
  • Gérer la sécurité
  • Gérer les performances
  • Maîtriser l'environnement de développement
Tarif

A partir de 2 400,00 €

Durée

4 jours

Modes
  • Centre
  • Entreprise
  • Distance

Formation ElasticSearch

Proposé par Sparks

Objectifs de la formation

  • Savoir utiliser le moteur de recherches ElasticSearch
  • Comprendre la dimension distribuée, l'architecture cloud
  • Maîtriser la recherche avec ElasticSearch
  • Manier les mappings avancés
  • Comprendre les design patterns pour le Big Data
  • Utiliser ElasticSearch en production
Tarif

A partir de 2 100,00 €

Durée

3 jours

Modes
  • Centre
  • Entreprise
  • Distance

Je cherche à faire...