Formation Data Streaming : traitement des données en temps réel
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Comprendre les spécificités du traitement de données en temps réel
- Connaître les différents composants et l'architecture d'un système de data streaming
- Construire des pipelines pour le traitement de données en continu avec Kafka, Airflow ou Spark
| Tarif |
A partir de 3 000,00 € |
| Durée | 4 jours |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 3 000,00 € |
| Durée | 4 jours |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
A l'issue de cette formation, les participants ont acquis les compétences nécessaires pour traiter des données en temps réel grâce à la maîtrise d'outils modernes comme Spark, Kafka, Airflow... 50% du temps de formation est consacré aux cas pratiques, afin de permettre aux apprenants de mettre immédiatement en application les concepts théoriques du data streaming.
Programme
Introduction : principes fondamentaux du data streaming
Les avantages d’une architecture distribuée résiliente pour les systèmes de data streaming
Tolérance aux pannes, callbacks et scalabilité
Acheminement des messages entre les micro-services d’un système
Suivre l’activité, les logs et collecter des mesures
Gérer des flux de données avec Kafka Streams API ou Spark Streaming
Comment les géants de la Tech utilisent le streaming dans leurs activités quotidiennes (Netflix, LinkedIn, Uber…) ?
Architecture
Gérer les sources de données (évènements, messages, logs…)
La problématique de load balacing dynamique
Spark pour les pannes et la récupération
L’unification des analyses par lots (batchs), en streaming et interactives
Analytics avancée avec le Machine Learning et requêtes interactives en SQL
Cas pratiques : intégration de données en temps réel avec Databricks, Spark, Kafka ou Snowflake.
Gestion des pipelines de données Cloud avec Kafka, Airflow et Spark
Producers, consumers et concepts de réplication
Brokers, clusters, topics et partition
Le streaming de données comme moyen pour partager les données
Cas pratiques : gestion d’un data workflow avec les DAGs (Directed Acyclic Graphs) d’Airflow, gestion des brokers kafka avec Zookeeper.
Mise en œuvre d’un pipeline de données temps réel
Data streaming pour une architecture orientée évènements
Data streaming pour échantillons classiques de données
Data streaming pour les industries et l’Internet des Objets (IoT)
Projet final : construction d’un pipeline de données temps réel « from scratch » avec Kafka, Airflow, Spark, Snowflake ou Databricks (au choix des stagiaires, avec les données de leur organisation, si possible et planifié à l’avance).
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Contribuer au développement des compétences favorisant l'insertion sociale et professionnelle des adultes et l'accès à la qualification et/ou la professionnalisation
- Analyser des demandes de formation d'origine et de nature variées afin de permettre l'adaptation aux évolutions techniques et professionnelles
- Identifier les compétences à acquérir ou à développer et déterminer les situations d'apprentissage et les modalités pédagogiques
- Organiser la progression des apprentissages et définir les étapes clés des séquences
- Choisir, adapter ou créer les activités d'apprentissage et les ressources pédagogiques
- Animer les temps de formation en présence ou à distance afin d'évaluer les acquis des apprenants
- Actualiser en permanence vos connaissances sur votre spécialité et sur la formation professionnelle
- Repérer les évolutions professionnelles, pédagogiques, technologiques et réglementaires qui permettra d'adapter vos contenus aux besoins du secteur professionnel
- Intégrer les apports et les effets des environnements numériques dans vos pratiques
- Exercer dans les organismes de formation, centres ou établissements publics et/ou privés pour la qualification ou l'insertion dans les entreprises
- Exercer en tant que salarié, salarié occasionnel ou travailleur indépendant
- Passer le Titre professionnel "Formateur Professionnel d'Adultes".
| Tarif |
Contacter l'organisme |
| Durée |
78j / 546h |
| Modes |
|
Objectifs de la formation
Gérer et comprendre les mécanismes de protection des données Azure - Savoir implémenter des méthodes de chiffrement de données Azure - Connaître les protocoles sécurisés et savoir les mettre en place sur Azure.| Tarif |
A partir de 3 475,00 € |
| Durée |
5j / 35h |
| Modes |
|
Les fondamentaux de la Déclaration Sociale Nominative (DSN) dans la Fonction publique
Proposé par GERESOObjectifs de la formation
- Mesurer les impacts de la DSN sur les différents services.
- Fiabiliser les données saisies dans le logiciel de paie.
- Anticiper et corriger les anomalies bloquantes.
| Tarif |
A partir de 1 605,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Analyser les dernières modifications intervenues dans le cadre de la dernière loi de financement de la sécurité sociale.
- Évaluer les incidences de ces modifications sur ses pratiques RH.
- Analyser les changements sur les différentes indemnités journalières : maladie, temps partiel thérapeutique, maternité, accident du travail.
- Répondre aux questions des salariés sur leurs droits aux indemnités journalières.
| Tarif |
A partir de 1 095,00 € |
| Durée |
1 jour |
| Modes |
|
Objectifs de la formation
Comprendre la notion de donnée de référence - créer un référentiel - spécifier un modèle de données de référence - créer et maintenir un MDM| Tarif |
A partir de 2 275,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
Permettre à tout salarié d'améliorer ses pratiques rédactionnelles dans le cadre professionnel - Gagner du temps et en efficacité sur la qualité des écrits - Etre en capacité de formaliser efficacement sa communication quels que soient les supports| Tarif |
A partir de 1 875,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Créer et utiliser un tableau de données (mise sous forme de tableau)
- Appliquer les tris et les filtres de données
- Contrôler la saisie de données avec la validation de données
- Utiliser les segments dans un tableau de données
- Démontrer l'intérêt d'un tableau croisé dynamique
- Construire et modifier un tableau croisé dynamique
- Utiliser les segments dans un tableau croisé dynamique.
| Tarif |
A partir de 370,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Enrichir son vocabulaire en anglais général et professionnel
- Développer son expression orale au travers d’ateliers d’échanges collectifs
- Développer la confiance en soi
| Tarif |
A partir de 890,00 € |
| Durée |
64 heures |
| Modes |
|
Objectifs de la formation
Connaître les caractéristiques d'un conteneur Linux et découvrir Docker - Installer et utiliser Docker - Maîtriser la création d'images - Connaître et configurer une Registry (publique et privée) - Maîtriser les notions réseaux de Docker (drivers, links) - Comprendre et maîtriser la persistance des données (drivers, volumes) - Maîtriser la notion de service Docker avec Docker-compose - Utiliser Docker Swarm pour déployer une stack orientée Production| Tarif |
A partir de 1 875,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
