Big Data - Les techniques d'analyse et de visualisation

Public admis

  • Salarié en Poste
  • Demandeur d'emploi
  • Entreprise
  • Etudiant

Financements

Eligible CPF Votre OPCO Financement personnel

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Charger et analyser des données de diverses sources avec Hadoop, NiFi, Kafka et Spark
  • Restituer ces données avec Kibana.

M2I


Un leadership dans le domaine de la formation
Voir la fiche entreprise

Tarif

A partir de 3 800,00 €

Durée 5 jours  (35h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

M2I


Un leadership dans le domaine de la formation
Voir la fiche

Tarif

A partir de 3 800,00 €

Durée 5 jours  (35h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

Programme

Jour 1

Vue d'ensemble du Big Data

  • Introduction au Big Data : de quoi s'agit-il ?
  • Perspectives offertes par le Big Data
  • Les acteurs du Big Data
  • Exemples pratiques
  • Démystification du Big Data
  • Big Data et Cloud SaaS, PaaS et FaaS
  • Les différents métiers du Big Data
  • Data Lakes vs Data Warehouses vs Lakehouses
  • Aspects économiques :
    • TCO (Total Cost of Ownership)
    • Opportunity Cost (coût d'opportunité)
    • ROI (retour sur investissement)
  • Travaux pratiques sur Hadoop
  • Aspects réglementaires (RGPD) et éthiques

Architecture Hadoop

  • Les outils de stockage
  • Les exigences de stockage
  • Le théorème de CAP
  • Le NoSQL
  • L'écosystème Hadoop
    • HDFS
    • MapReduce
    • Tez
  • Les outils d'ingestion et d'analyse de données
    • Spark

Jour 2

  • Les outils d'ingestion et d'analyse de données (suite)
    • Pig
    • Hive
    • Impala
  • La mise en qualité
  • Le stockage de données

Exemple de travaux pratiques (à titre indicatif)

  • Création d'un pipeline simple sur Hadoop

Fondamentaux du Data Engineering

  • Définition du Data Engineering
  • Cycle de vie et workflow du Data Engineering
  • Technologies du Data Engineering
  • Evolution du métier de Data Engineer
  • Compétences, activités et responsabilités du Data Engineer : Type A vs Type B
  • Le Data Engineer au sein d'une Data Team
  • Parties prenantes : producteurs upstream, consommateurs downstream
  • Data Maturity d'une organisation
  • Data Engineering, Agilité, DevOps et DataOps
  • Gouvernance et qualité des données
  • Nouvelles tendances du Data Engineering: Lakehouse, orchestration, Pipelines as Code

Exemple de travaux pratiques (à titre indicatif)

  • Mise en pratique par des études de cas

Jour 3

NiFi

  • Ingestion des données avec NiFi
  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies du Big Data
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
Exemple de travaux pratiques (à titre indicatif)
  • Mise en oeuvre de NiFi

Visualisation des données avec Kibana

  • Préparer les données pour Elasticsearch
  • Construire un tableau de bord Kibana
  • Créer des visualisations

Exemple de travaux pratiques (à titre indicatif)

  • Ingestion de données avec NiFi

Jour 4

Streaming des données avec Kafka

  • Comprendre comment Kafka utilise des logs
  • Les "Topics"
  • Les producteurs Kafka
  • Les "Brokers"
  • Les consommateurs Kafka
  • Différences entre traitement batch et traitement en streaming

Exemples de travaux pratiques (à titre indicatif)

  • Construire et tester un cluster Kafka et Zookeeper

Jour 5

Traitement des données avec Spark

  • Introduction à Apache Spark
  • Architecture de Spark
  • Apache Spark MLlib
  • Apache Spark Streaming
  • Apache Spark SQL
  • Apache Spark GraphX

Exemple de travaux pratiques (à titre indicatif)

  • Construire un pipeline en temps réel avec Kafka et Spark

Examen M2i (en option)

  • Prévoir l'achat de l'examen en supplément
  • L'examen (en français) sera passé le dernier jour, à l'issue de la formation et s'effectuera en ligne
  • Il s'agit d'un QCM dont la durée moyenne est d'1h30 et dont le score obtenu attestera d'un niveau de compétence
  • L'examen n'est pas éligible au CPF, mais permettra néanmoins de valider vos acquis

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation et/ou un examen M2i

Les + de la formation

Un examen M2i permettant de valider vos acquis à l'issue de la formation est disponible sur demande (coût : 120€).

Prérequis

Avoir des connaissances en langage Python pour l'analyse de données via Spark. Maîtriser le langage de requêtage SQL. Avoir des connaissances en ETL et en BI est un plus.

Public

Data Engineers, Data Scientists, Data Analysts, ingénieurs DevOps, développeurs, architectes Big Data, chefs de projets.

Ces formations pourraient vous intéresser

Déléguer : A qui ? Quoi ? Comment ?

Proposé par GROUPE ARKESYS

Objectifs de la formation

  • Maitriser les techniques de délégation
  • Développer les compétences de ses collaborateurs
  • Développer l'autonomie par la délégation progressive
  • Responsabiliser et impliquer ses collaborateurs
Tarif

A partir de 3 100,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire les contours de la mission du tuteur d'un salarié ou agent en situation de handicap
  • Expliquer le rôle du tuteur dans l'accompagnement ou le maintien à l'emploi d'un salarié / agent en situation de handicap
  • Identifier les compétences clés d'un tuteur en lien avec les spécificités des handicaps
  • Organiser et structurer la mise en place d'une mission de tutorat envers une personne en situation de handicap
  • Evaluer la pertinence du choix de la personne recrutée en situation de handicap en s'appuyant sur des critères spécifiques
  • Concevoir et mettre en place un plan d'accueil individualisé en prenant en compte les besoins et les spécificités de la personne en situation de handicap
  • Appliquer les techniques de formation pour développer les compétences du tutoré
  • Analyser et évaluer les progrès du tutoré en fonction de son parcours de formation et de ses besoins spécifiques
  • Coordonner et adapter l'accompagnement en fonction du handicap du tutoré et des difficultés rencontrées
  • Synthétiser les acquis du tutoré et élaborer un projet professionnel en vue de la suite de son parcours.
Tarif

A partir de 720,00 €

Durée

1j / 7h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l’issue de la formation, le stagiaire sera capable de :

  • Gérer son temps et ses priorités
  • Comprendre ce qu’est l’innovation en milieu professionnel et lever les freins à la créativité
  • Découvrir et développer son potentiel créatif
  • Trouver des solutions grâce aux techniques de créativité
  • S’approprier des processus créatifs individuels et collectifs
Tarif

A partir de 300,00 €

Durée

2j / 14h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire la fonction de conseiller relation client à distance
  • Adapter votre processus de vente en donnant immédiatement une image rassurante et professionnelle
  • Pratiquer l'écoute et l'art de faire parler, plutôt que monopoliser la parole, en partant à la découverte de votre interlocuteur
  • Analyser le marché en menant une veille commerciale afin d'obtenir des rendez-vous commerciaux (gérés en direct ou pour le compte d'un collaborateur qui sera chargé de la vente)
  • Proposer à votre interlocuteur les solutions les plus adaptées au contexte
  • Traiter efficacement les objections en répondant aux questions pièges
  • Conclure avec les meilleures techniques de closing : conclure immédiatement la vente ou au moins conclure sur des étapes et engagements réciproques
  • Pratiquer une politique de relance des clients sans donner l'impression de relances basiques
  • Développer la confiance de vos clients par des outils de fidélisation, notamment par un suivi digital de la relation commerciale
  • Gérer les situations difficiles à distance
  • Optimiser le suivi et le processus d'amélioration de vos actions commerciales.
Tarif

A partir de 3 340,00 €

Durée

5j / 35h

Modes
  • Centre
  • Distance

Objectifs de la formation

Découvrir les techniques de prises de vues photo - Maîtriser le matériel pour produire des images de qualité - Connaître les différents outils et accessoires pour améliorer les prises de vue - Bien choisir le matériel adapté à son projet - Apprendre à photographier et éclairer en intérieur ou extérieurs
Tarif

A partir de 1 775,00 €

Durée

3j / 21h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Expliquer la notion de radicalisation
  • Identifier les différentes formes de radicalisation
  • Analyser les clés de l'Islam modéré et extrême
  • Evaluer les diverses propagandes de la radicalisation
  • Examiner le rôle de la télévision, des médias, d'Internet et des réseaux sociaux dans la radicalisation
  • Analyser l'interprétation des idées reçues liées à la radicalisation
  • Reconnaître les indicateurs de basculement dans la radicalisation
  • Observer les changements dans les attitudes, les comportements ou les mots associés à la radicalisation
  • Appliquer des techniques d'écoute et de communication spécifiques pour réagir à un comportement radicalisé identifié
  • Elaborer un contre-discours de la radicalisation et maîtriser les aspects psychologiques et comportementaux associés.
Tarif

A partir de 720,00 €

Durée

1j / 7h

Modes
  • Centre
  • Distance

Objectifs de la formation

Développer des applications créatives basées sur un rendu 3D temps réel (visualisation architecturale temps réel, installations artistiques, jeux vidéo, serious game, applications interactives, visualisation de données, etc).
Tarif

A partir de 2 475,00 €

Durée

5j / 35h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Structurer ses connaissances et appréhender ses relations avec l’administration des douanes
  • Avoir une vue complète des techniques douanières
  • Appréhender la sécurité et sureté de son entreprise et de ses marchandises
  • Maîtriser les procédures de dédouanement
Tarif

A partir de 1 550,00 €

Durée

2j / 14h

Modes
  • Entreprise

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Analyser les différents modes de communication et évaluer leurs avantages et inconvénients par rapport au courrier électronique
  • Evaluer l'impact des courriels sur la gestion du temps et les stratégies pour optimiser leur traitement
  • Mettre en place des techniques de lecture efficace et de tri automatique pour gérer les volumes importants de courriels
  • Planifier et organiser votre temps en utilisant les fonctions de rappel, d'estimation de temps et de délégation de tâches
  • Appliquer les règles de base de l'envoi de courriels, en adaptant la forme et le contenu en fonction du destinataire et du sujet
  • Respecter la charte de bon usage des courriers électroniques dans l'entreprise
  • Créer des dossiers de classement en fonction de vos objectifs et activités professionnelles
  • Transférer des tâches importantes dans votre agenda et les suivre efficacement.
Tarif

A partir de 700,00 €

Durée

1j / 7h

Modes
  • Centre
  • Distance

Objectifs de la formation

  • Identifier les principales tâches et responsabilités d'un Data Engineer
  • Comprendre les concepts fondamentaux du traitement et stockage des données
  • Connaître les outils et technologies couramment utilisés en Data Engineering
Tarif

Contacter l'organisme

Durée

1 jour

Modes
  • Centre
  • Entreprise

Je cherche à faire...