Formation Data Streaming : traitement des données en temps réel

Public admis

  • Salarié en Poste
  • Demandeur d'emploi
  • Entreprise
  • Etudiant

Financements

Eligible CPF Votre OPCO Financement personnel

Objectifs de la formation

  • Comprendre les spécificités du traitement de données en temps réel
  • Connaître les différents composants et l'architecture d'un système de data streaming
  • Construire des pipelines pour le traitement de données en continu avec Kafka, Airflow ou Spark

Sparks


Tout l'IT, vraiment tout
Voir la fiche entreprise

Tarif

A partir de 3 000,00 €

Durée 4 jours
Modes
  • Centre
  • Entreprise
  • Distance
Sessions
Lieux Partout en France

Sparks


Tout l'IT, vraiment tout
Voir la fiche

Tarif

A partir de 3 000,00 €

Durée 4 jours
Modes
  • Centre
  • Entreprise
  • Distance
Sessions
Lieux Partout en France

Description

A l'issue de cette formation, les participants ont acquis les compétences nécessaires pour traiter des données en temps réel grâce à la maîtrise d'outils modernes comme Spark, Kafka, Airflow... 50% du temps de formation est consacré aux cas pratiques, afin de permettre aux apprenants de mettre immédiatement en application les concepts théoriques du data streaming.

Programme

Introduction : principes fondamentaux du data streaming

Les avantages d’une architecture distribuée résiliente pour les systèmes de data streaming
Tolérance aux pannes, callbacks et scalabilité
Acheminement des messages entre les micro-services d’un système
Suivre l’activité, les logs et collecter des mesures
Gérer des flux de données avec Kafka Streams API ou Spark Streaming
Comment les géants de la Tech utilisent le streaming dans leurs activités quotidiennes (Netflix, LinkedIn, Uber…) ?

Architecture

Gérer les sources de données (évènements, messages, logs…)
La problématique de load balacing dynamique
Spark pour les pannes et la récupération
L’unification des analyses par lots (batchs), en streaming et interactives
Analytics avancée avec le Machine Learning et requêtes interactives en SQL

Cas pratiques : intégration de données en temps réel avec Databricks, Spark, Kafka ou Snowflake.

Gestion des pipelines de données Cloud avec Kafka, Airflow et Spark

Producers, consumers et concepts de réplication
Brokers, clusters, topics et partition
Le streaming de données comme moyen pour partager les données

Cas pratiques : gestion d’un data workflow avec les DAGs (Directed Acyclic Graphs) d’Airflow, gestion des brokers kafka avec Zookeeper.

Mise en œuvre d’un pipeline de données temps réel

Data streaming pour une architecture orientée évènements
Data streaming pour échantillons classiques de données
Data streaming pour les industries et l’Internet des Objets (IoT)

Projet final : construction d’un pipeline de données temps réel « from scratch » avec Kafka, Airflow, Spark, Snowflake ou Databricks (au choix des stagiaires, avec les données de leur organisation, si possible et planifié à l’avance).

Prérequis

Bonnes connaissances en python 3 (ou sur un autre langage de programmation orienté Back-end), un niveau intermédiaire en SQL.

Public

Architectes techniques,

Ces formations pourraient vous intéresser

Objectifs de la formation

  • Installer SharePoint 2019 et configurer les options de déploiement
  • Gérer les applications web et collections de sites
  • Configurer les applications de service
  • Gérer les utilisateurs, les autorisations et l'authentification dans SharePoint 2019
  • Gérer la recherche d'entreprise
  • Surveiller et dépanner une ferme SharePoint
Tarif

A partir de 3 000,00 €

Durée

4 jours

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Améliorer ses techniques d'écriture
  • Améliorer ses documents en fonction des tendances et nouvelles technologies
  • Développer l'attrait des lecteurs
Tarif

A partir de 1 390,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Identifier les enjeux d'une démarche Low Cost dans le contexte économique actuel
  • Concevoir une stratégie Low Cost adaptée à son marché
  • Gérer les étapes de la mise en oeuvre au sein de l'entreprise
  • Prévenir les risques liés à l'image de marque, à l'organisation de l'activité Low Cost
Tarif

A partir de 1 390,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Cette formation fait l'objet d'une évaluation formative.
Tarif

Contacter l'organisme

Durée

4 jours (28 heures)

Modes
  • Distance
  • Centre

Objectifs de la formation

  • Analyser les aspects juridiques du nouveau statut de l'entrepreneur individuel
  • En mesurer les conséquences en droit des entreprises en difficulté
  • Choisir entre le nouveau statut ou la forme sociale
Tarif

A partir de 200,00 €

Durée

1 heure 45

Modes
  • Entreprise

Objectifs de la formation

  • Cette formation fait l'objet d'une évaluation formative.
Tarif

Contacter l'organisme

Durée

3 jours (21 heures)

Modes
  • Distance
  • Centre

Objectifs de la formation

  • Renforcer la cohésion et accroître la performance collective
  • Améliorer les modes de fonctionnement de l'équipe
  • Optimiser le processus de réunion
Tarif

A partir de 1 950,00 €

Durée

2 jours + 2 heures

Modes
  • Entreprise
  • Centre

Objectifs de la formation

  • Identifier les spécificités de la comptabilité dans le secteur social et médico-social
  • Elaborer le compte administratif pour les ESMS concernés
  • Etablir l'Etat Réalisé des Recettes et des Dépenses (ERRD)
  • Préciser la distinction entre les comptes annuels de l'organisme gestionnaire et les états du réel
Tarif

A partir de 1 569,00 €

Durée

2 jours

Modes
  • Entreprise
  • Centre

Objectifs de la formation

  • Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
Tarif

Contacter l'organisme

Durée

3 jours (21 heures)

Modes
  • Distance
  • Centre

Objectifs de la formation

  • Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
Tarif

Contacter l'organisme

Durée

2 jours (14 heures)

Modes
  • Distance
  • Centre

Je cherche à faire...