Data Engineering avec Kafka, Cassandra et Spark
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Présenter les concepts fondamentaux de Spark, Cassandra et Kafka
- Développer une application orientée use case avec Spark, Cassandra et Kafka
- Définir le Data Engineering
- Décrire l'architecture Big Data de manière approfondie.
| Tarif |
A partir de 3 040,00 € |
| Durée | 4 jours (28h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 3 040,00 € |
| Durée | 4 jours (28h00) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
Jour 1
Introduction à Kafka
- Kafka : une plateforme de données de flux
- Un aperçu de Kafka et de son efficacité
- Producers
- Brokers
- Consumers
Installation et architecture
- Installation et options avancées
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d'écriture et de lecture de Kafka
- Partitions, consumer groups et scalability
Développement et mise en oeuvre
- Cas d'utilisation de Kafka Streams
- Kafka Streams
- Etude d'une application et usage de Kafka Streams
Jour 2
Introduction à Cassandra
- Introduction au NoSQL
- Prérequis de Cassandra
- Installation
- Fichier de configuration : conf/cassandra.yaml
- L'architecture
- Les réplications
Exemples de travaux pratiques (à titre indicatif)
- Commandes de base
- Connexion au système de base de données
- Création de colonnes
- Insertion
- Modification recherche
- Définition des colonnes et des types de données
- Définition d'une clé primaire
- Reconnaître une clé de partition
- Le CQL : Cassandra Query Language
- Exécution de scripts
- Data Modeling
- Créer une application
- Ajout des noeuds
Jour 3
Apache Spark
- Introduction à Spark
- Vue d'ensemble de Spark
- Ecosystème Spark
- Spark vs Hadoop
- Installation et configuration
Exemples de travaux pratiques (à titre indicatif)
- Remise à niveau Python / Scala
- Spark :
- RDD (Resilient Distributed Dataset)
- DataFrame
- SQL
- Streaming
- MLlib
- GraphX
- Création d'applications Spark
Jour 4
- Projet avec la mise en oeuvre d'une solution bout en bout (ingestion, stockage et calcul) via :
- Kafka
- Cassandra
- Spark
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Prérequis
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Utiliser les spécificités du langage R pour l'exploration des données
- Réaliser des analyses en composantes, des modélisations
- Maîtriser les algorithmes supervisés et non-supervisés
- Connaître les procédures d'évaluation de modèles
- Pouvoir réaliser une analyse de données textuelles
| Tarif |
A partir de 3 000,00 € |
| Durée |
4 jours |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Gérer et mettre en place une sécurité complète sur du contenu dans SAP Analytics Cloud
- Utiliser Business Content Network pour partager du contenu entre plusieurs tenants SAP Analytics Cloud
- Auditer et surveiller l'utilisation d'un système SAP Analytics Cloud avec SAP Administration Cockpit
- Configurer SAP Analytics Cloud pour authentifier les utilisateurs en utilisant un Identity Provider personnalisé (SAP NetWeaver)
- Configurer et activer l'authentification SSO via le MFA (Multi Factor Authentication) et via les réseaux sociaux (X (ex Twitter), Facebook, LinkedIn, Google) dans SAP Analytics Cloud
- Identifier les différents types de connexion aux sources de données depuis SAP Analytics Cloud
- Installer et configurer des composants logiciels (SAP Cloud Connector, SAP Cloud Agent) pour créer et utiliser des connexions en mode Import à des sources de données On-Premise (base de données SQL, serveur de fichiers) et Cloud (SAP SuccessFactors)
- Mettre en place, créer et utiliser des connexions en mode Live (direct, SAML SSO, par tunnel) à des sources de données On-Premise (SAP HANA, SAP S/4HANA, SAP BI4) et Cloud SAP (S/4HANA Cloud, SAP HANA Cloud)
- Installer et configurer le composant SAP Data Provisioning Agent pour combiner plusieurs modèles de données dans une connexion (Blending SAP)
- Identifier les bonnes pratiques pour troubleshooter les connexions en mode Live et en mode Import.
| Tarif |
A partir de 4 100,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Exploiter les architectures Big Data Hadoop On-Premise et Cloud
- Mettre en place des socles techniques complets pour des projets Big Data.
| Tarif |
A partir de 3 800,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Construire une couche de persistance en partant d'une base de données relationnelle et non relationnelle
- Alléger considérablement le code de la couche d'implémentation des classes d'accès aux données
- Optimiser vos requêtes objet afin de réduire les interactions avec le moteur relationnel
- Manipuler les requêtes dynamiques avec Spring Data (Querydsl)
- Mettre en place une couche de tests unitaires de la couche DAO.
| Tarif |
Contacter l'organisme |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Expliquer le fonctionnement d'Apache Spark et ses relations avec le Big Data et Hadoop
- Utiliser les RDD pour gérer les opérations et MapReduce
- Intégrer et utiliser HDFS avec Spark
- Mettre en place et déployer une structure de cluster Spark
- Appliquer le partitionnement et la programmation parallèle sur les données HDFS
- Concevoir et générer une application Spark
- Implémenter Spark Streaming pour le traitement des données en temps réel
- Appliquer des algorithmes de Machine Learning avec MLlib et optimiser Spark
| Tarif |
A partir de 2 250,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Concevoir des dimensions et des modèles Planning
- Importer de nouvelles données dans un modèle à partir d'un fichier local
- Décrire toutes les fonctionnalités de SAP Analytics Cloud Planning
- Utiliser la prévision intelligente, la prévision prédictive et la prévision glissante
- Utiliser les processus de Data Actions et d'allocation
- Utiliser les processus de collaboration et de calendrier.
| Tarif |
A partir de 3 280,00 € |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
Plus précisément à l’issue de cette formation Elasticsearch, Logstash et Kibana vous aurez acquis les connaissances et les compétences pour :
- Comprendre les différents cas d’usages de la pile et les différentes facettes de l’offre proposée par la société Elastic
- Savoir installer et configurer les différents produits de la suite
- Savoir mettre au point des pipelines Logstash
- Savoir mettre en place des index Elastic Search ou data streams. (settings, mappings, cycle de vie)
- Comprendre toutes les possibilités de recherche offertes par le moteur ElasticSearch
- Savoir mettre en place les tableaux de bords prédéfinis de la suite
- Savoir mettre en place ces propres tableaux de bord dans Kibana
- Sécuriser l’architecture et personnaliser l’interface utilisateur Kibana en fonction des rôles
- Avoir une introduction au Machine Learning
| Tarif |
A partir de 1 890,00 € |
| Durée |
3j / 21h |
| Modes |
|
Looker Studio (Google Data Studio) - Créer des tableaux de bord à partir de données Sheets
Proposé par M2IObjectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Créer un reporting efficace, en temps réel avec Looker Studio (anciennement Google Data Studio) connecté à vos données sur Google Sheets
- Décrire les différents types de visualisations pour générer des rapports statistiques dynamiques.
| Tarif |
A partir de 255,00 € |
| Durée |
0j / 3h |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
2 jours (14 heures) |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Oracle Data Integrator, vous aurez acquis les connaissances et compétences nécessaires pour :
- Identifier les différents composants d’une architecture Oracle Data Integrator (ODI)
- Installer et configurer une architecture ODI
- Utiliser ODI Studio pour intégrer des données
| Tarif |
A partir de 2 800,00 € |
| Durée |
4j / 28h |
| Modes |
|
