Formation Data Streaming : traitement des données en temps réel

Public admis

  • Salarié en Poste
  • Demandeur d'emploi
  • Entreprise
  • Etudiant

Financements

Eligible CPF Votre OPCO Financement personnel

Objectifs de la formation

  • Comprendre les spécificités du traitement de données en temps réel
  • Connaître les différents composants et l'architecture d'un système de data streaming
  • Construire des pipelines pour le traitement de données en continu avec Kafka, Airflow ou Spark

Sparks


Tout l'IT, vraiment tout
Voir la fiche entreprise

Tarif

A partir de 3 000,00 €

Durée 4 jours
Modes
  • Centre
  • Entreprise
  • Distance
Sessions
Lieux Partout en France

Sparks


Tout l'IT, vraiment tout
Voir la fiche

Tarif

A partir de 3 000,00 €

Durée 4 jours
Modes
  • Centre
  • Entreprise
  • Distance
Sessions
Lieux Partout en France

Description

A l'issue de cette formation, les participants ont acquis les compétences nécessaires pour traiter des données en temps réel grâce à la maîtrise d'outils modernes comme Spark, Kafka, Airflow... 50% du temps de formation est consacré aux cas pratiques, afin de permettre aux apprenants de mettre immédiatement en application les concepts théoriques du data streaming.

Programme

Introduction : principes fondamentaux du data streaming

Les avantages d’une architecture distribuée résiliente pour les systèmes de data streaming
Tolérance aux pannes, callbacks et scalabilité
Acheminement des messages entre les micro-services d’un système
Suivre l’activité, les logs et collecter des mesures
Gérer des flux de données avec Kafka Streams API ou Spark Streaming
Comment les géants de la Tech utilisent le streaming dans leurs activités quotidiennes (Netflix, LinkedIn, Uber…) ?

Architecture

Gérer les sources de données (évènements, messages, logs…)
La problématique de load balacing dynamique
Spark pour les pannes et la récupération
L’unification des analyses par lots (batchs), en streaming et interactives
Analytics avancée avec le Machine Learning et requêtes interactives en SQL

Cas pratiques : intégration de données en temps réel avec Databricks, Spark, Kafka ou Snowflake.

Gestion des pipelines de données Cloud avec Kafka, Airflow et Spark

Producers, consumers et concepts de réplication
Brokers, clusters, topics et partition
Le streaming de données comme moyen pour partager les données

Cas pratiques : gestion d’un data workflow avec les DAGs (Directed Acyclic Graphs) d’Airflow, gestion des brokers kafka avec Zookeeper.

Mise en œuvre d’un pipeline de données temps réel

Data streaming pour une architecture orientée évènements
Data streaming pour échantillons classiques de données
Data streaming pour les industries et l’Internet des Objets (IoT)

Projet final : construction d’un pipeline de données temps réel « from scratch » avec Kafka, Airflow, Spark, Snowflake ou Databricks (au choix des stagiaires, avec les données de leur organisation, si possible et planifié à l’avance).

Prérequis

Bonnes connaissances en python 3 (ou sur un autre langage de programmation orienté Back-end), un niveau intermédiaire en SQL.

Public

Architectes techniques,

Ces formations pourraient vous intéresser

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire la palette des métiers de la Data et leurs spécificités
  • Dimensionner et structurer une équipe de talents de la Data
  • Utiliser les clés pour optimiser l'efficacité de ces talents dans l'entreprise.
Tarif

A partir de 1 520,00 €

Durée

2j / 14h

Modes
  • Centre
  • Distance

Objectifs de la formation

  • Maîtriser les principes pratiques de la gestion du temps dans un environnement managérial où tout est « urgent »
  • Parfaire son organisation personnelle et celle de son équipe
  • Communiquer de manière fluide avec ses collaborateurs pour améliorer la performance globale
Tarif

A partir de 1 550,00 €

Durée

2j / 14h

Modes
  • Entreprise

Objectifs de la formation

  • Décrire l'architecture multicouche et l'intérêt des frameworks ;
  • Décrire les problématiques liées à la production et au déploiement des applications, et identifier les intérêts de l'intégration continue ;
  • Installer un environnement de production/construction Gradle ;
  • Créer un projet Gradle Java en ligne de commande et avec l'IDE Eclipse ;
  • Décrire l'architecture et le fonctionnement de l'API de persistance JPA ;
  • Réaliser les mappings entre les classes Java et les tables de bases de données ;
  • Manipuler les instances d'objets persistants avec l'API JPA ;
  • Identifier les apports et décrire les mécanismes d'injection de dépendances ;
  • Configurer Spring à travers le fichier XML et utiliser les annotations spécifiques ;
  • Implémenter la couche d'accès aux données avec Spring JDBC et Spring ORM ;
  • Construire et expoloiter les données de formulaires de saisie avec Spring MVC ;
  • Utiliser un Web Service REST dans un environnement Spring avec Spring REST ;
  • Configurer Tomcat pour un accès HTTPS et sécuriser l'accès aux applications Web grâce à l'authentification basée sur les rôles.
Tarif

A partir de 990,00 €

Durée

37 heures

Modes
  • Distance

Objectifs de la formation

Maîtriser les principales fonctionnalités de Photoshop - Savoir effectuer des retouches sur une image - Concevoir des compositions et réaliser des effets grâce aux calques et aux filtres - Maîtriser le travail non destructif dans Photoshop - Savoir créer des montages et détourages complexes - Utiliser les outils d'automatisation en traitement par lot
Tarif

A partir de 1 875,00 €

Durée

5j / 35h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

A l’issue de la formation, le stagiaire sera capable de :

  • Gérer son temps et ses priorités
  • Comprendre ce qu’est l’innovation en milieu professionnel et lever les freins à la créativité
  • Découvrir et développer son potentiel créatif
  • Trouver des solutions grâce aux techniques de créativité
  • S’approprier des processus créatifs individuels et collectifs
Tarif

A partir de 300,00 €

Durée

2j / 14h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Reconnaître les mécanismes de sécurité de .NET
  • Expliquer les principales failles de sécurité applicative
  • Mettre en oeuvre le Code Access Security et le Role Based Security
  • Sécuriser des "Assemblys"
  • Authentifier et autoriser l'accès aux applications ASP.NET
  • Chiffrer des données avec le framework .NET
  • Créer des tests visant à éprouver la sécurité des applications
  • Formuler des exigences de sécurité aux autres corps de métiers.
Tarif

A partir de 2 010,00 €

Durée

3j / 21h

Modes
  • Centre
  • Distance

Objectifs de la formation

  • Créer une base CDB
  • Créer une PDB
  • Cloner une PDB
  • Brancher une PDB
  • Transformer une base de données non CDB en PDB
  • Gérer le stockage
  • Gérer les utilisateurs et les droits
  • Effectuer une sauvegarde et une récupération
Tarif

Contacter l'organisme

Durée

3j / 21h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Appliquer le dispositif légal du temps de travail
  • Choisir les options les plus pertinentes en matière d'aménagement du temps de travail
  • Assurer le suivi de la durée du travail dans son entreprise
Tarif

A partir de 1 803,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Analyser des stratégies de communication sur les réseaux sociaux et le choix des formats de contenu les plus efficaces pour répondre à des objectifs spécifiques
  • Mettre en œuvre des campagnes de communication sur les réseaux sociaux utilisant des technologies d'IA
  • Évaluer l'efficacité de votre stratégie et ajuster vos actions pour améliorer les performances
Tarif

A partir de 1 490,00 €

Durée

2j / 14h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

• Elaborer le bilan social
• Mettre en place des indicateurs pertinents de gestion des ressources humaines
• Savoir utiliser les données recueillies
• Acquérir les méthodes et outils pour réaliser des tableaux de bord sociaux Occasionnellement

Tarif

A partir de 1 400,00 €

Durée

Nous contacter

Modes

Je cherche à faire...