Formation - Google Cloud Platform - Ingénierie de données
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée | 4 jours (28 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 4 jours (28 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
1 - Introduction à l'ingénierie des données
- Explorer le rôle d'un data engineer
- Analyser les défis d'ingénierie des données
- Introduction à BigQuery
- Data lakes et data warehouses
- Démo: requêtes fédérées avec BigQuery
- Bases de données transactionnelles vs data warehouses
- Démo: recherche de données personnelles dans votre jeu de données avec l'API DLP
- Travailler efficacement avec d'autres équipes de données
- Gérer l'accès aux données et gouvernance
- Construire des pipelines prêts pour la production
- Etude de cas d'un client GCP
- Lab : Analyse de données avec BigQuery
2 - Construire un Data Lake
- Introduction aux data lakes
- Stockage de données et options ETL sur GCP
- Construction d'un data lake à l'aide de Cloud Storage
- Démo : optimisation des coûts avec les classes et les fonctions cloud de Google Cloud Storage
- Sécurisation de Cloud Storage
- Stocker tous les types de données
- Démo : exécution de requêtes fédérées sur des fichiers Parquet et ORC dans BigQuery
- Cloud SQL en tant que data lake relationnel
3 - Construire un Data Warehouse
- Le data warehouse moderne
- Introduction à BigQuery
- Démo : Requêter des TB + de données en quelques secondes
- Commencer à charger des données
- Démo: Interroger Cloud SQL à partir de BigQuery
- Lab : Chargement de données avec la console et la CLI
- Explorer les schémas
- Exploration des jeux de données publics BigQuery avec SQL à l'aide de Information_Schema
- Conception de schéma
- Démo : Exploration des jeux de données publics BigQuery avec SQL à l'aide de Information_Schema
- Champs imbriqués et répétés dans BigQuery
- Lab : tableaux et structures
- Optimiser avec le partitionnement et le clustering
- Démo : Tables partitionnées et groupées dans BigQuery
- Aperçu : Transformation de données par lots et en continu
4 - Introduction à la construction de pipelines de données par lots EL, ELT, ETL
- Considérations de qualité
- Comment effectuer des opérations dans BigQuery
- Démo : ETL pour améliorer la qualité des données dans BigQuery
- Des lacunes
- ETL pour résoudre les problèmes de qualité des données
5 - Exécution de Spark sur Cloud Dataproc
- L'écosystème Hadoop
- Exécution de Hadoop sur Cloud Dataproc GCS au lieu de HDFS
- Optimiser Dataproc
- Atelier : Exécution de jobs Apache Spark sur Cloud Dataproc
6 - Traitement de données sans serveur avec Cloud Dataflow
- Cloud Dataflow
- Pourquoi les clients apprécient-ils Dataflow ?
- Pipelines de flux de données
- Lab : Pipeline de flux de données simple (Python / Java)
- Lab : MapReduce dans un flux de données (Python / Java)
- Lab : Entrées latérales (Python / Java)
- Templates Dataflow
- Dataflow SQL
7 - Gestion des pipelines de données avec Cloud Data Fusion et Cloud Composer
- Création visuelle de pipelines de données par lots avec Cloud Data Fusion: composants, présentation de l'interface utilisateur, construire un pipeline, exploration de données en utilisant Wrangler
- Lab : Construction et exécution d'un graphe de pipeline dans Cloud Data Fusion
- Orchestrer le travail entre les services GCP avec Cloud Composer - Apache Airflow
- Environment : DAG et opérateurs, planification du flux de travail
- Démo : Chargement de données déclenché par un événement avec Cloud Composer, Cloud Functions, Cloud Storage et BigQuery
- Lab : Introduction à Cloud Composer
8 - Introduction au traitement de données en streaming
- Traitement des données en streaming
9 - Serverless messaging avec Cloud Pub/Sub
- Cloud Pub/Sub
- Lab : Publier des données en continu dans Pub/Sub
10 - Fonctionnalités streaming de Cloud Dataflow
- Fonctionnalités streaming de Cloud Dataflow
- Lab : Pipelines de données en continu
11 - Fonctionnalités Streaming à haut débit BigQuery et Bigtable
- Fonctionnalités de streaming BigQuery
- Lab : Analyse en continu et tableaux de bord
- Cloud Bigtable
- Lab : Pipelines de données en continu vers Bigtable
12 - Fonctionnalité avancées de BigQuery et performance
- Analytic Window Functions
- Utiliser des clauses With
- Fonctions SIG
- Démo: Cartographie des codes postaux à la croissance la plus rapide avec BigQuery GeoViz
- Considérations de performance
- Lab : Optimisation de vos requêtes BigQuery pour la performance
- Lab : Création de tables partitionnées par date dans BigQuery
13 - Introduction à l'analytique et à l'IA
- Qu'est-ce que l'IA?
- De l'analyse de données ad hoc aux décisions basées sur les données
- Options pour modèles ML sur GCP
14 - API de modèle ML prédéfinies pour les données non structurées
- Les données non structurées sont difficiles à utiliser
- API ML pour enrichir les données
- Lab : Utilisation de l'API en langage naturel pour classer le texte non structuré
15 - Big Data Analytics avec les notebooks Cloud AI Platform
- Qu'est-ce qu'un notebook
- BigQuery Magic et liens avec Pandas
- Lab : BigQuery dans Jupyter Labs sur IA Platform
16 - Pipelines de production ML avec Kubeflow
- Façons de faire du ML sur GCP
- Kubeflow AI Hub
- Lab : Utiliser des modèles d'IA sur Kubeflow
17 - Création de modèles personnalisés avec SQL dans BigQuery ML
- BigQuery ML pour la construction de modèles rapides
- Démo : Entraîner un modèle avec BigQuery ML pour prédire les tarifs de taxi à New York
- Modèles pris en charge
- Lab : Prédire la durée d'une sortie à vélo avec un modèle de régression dans BigQuery ML
- Lab : Recommandations de film dans BigQuery ML
18 - Création de modèles personnalisés avec Cloud AutoML
- Pourquoi Auto ML?
- Auto ML Vision
- Auto ML NLP
- Auto ML Tables
Prérequis
- Avoir suivi la formation "Google Cloud Platform - Les fondamentaux du Big Data et du Machine Learning" (CC381) ou bénéficier d'une expérience équivalente
- Maîtriser les principes de base des langages de requête courants tels que SQL
- Avoir de l'expérience en modélisation, extraction, transformation et chargement des données
- Savoir développer des applications à l'aide d'un langage de programmation courant tel que Python
- Savoir utiliser le Machine Learning et/ou les statistiques
Public
- Développeurs expérimentés en charge des transformations du Big Data
Ces formations pourraient vous intéresser
Objectifs de la formation
Comprendre le processus d'intégration de données - Maîtriser l'outil Talend Open Studio et la bibliothèque de composants| Tarif |
A partir de 1 895,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Expliquer les concepts fondamentaux du cloud
- Comparer les types de cloud (PaaS, IaaS, SaaS)
- Identifier les principaux acteurs du cloud et leurs offres
- Concevoir une architecture de cloud adaptée
- Choisir entre un cloud privé, public et hybride
- Appliquer les principes de sécurité dans le cloud
| Tarif |
A partir de 2 100,00 € |
| Durée |
3 jours |
| Modes |
|
Objectifs de la formation
Administration/déploiement de Windows 10| Tarif |
A partir de 2 495,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
Savoir installer Drupal, le modifier et le gérer au quotidien - Mettre en place une boutique en ligne avec Drupal 7 et le plugin Commerce| Tarif |
A partir de 2 495,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Protéger, sauvegarder et restaurer des bases de données MS-SQL avec le plug-in intégré à SnapCenter.
| Tarif |
A partir de 1 980,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Se préparer efficacement au passage de la certification Lean Six Sigma Yellow Belt (IASSC)
- Connaître et s'approprier les différentes phases de la méthode DMAIC
| Tarif |
A partir de 3 500,00 € |
| Durée |
5 jours |
| Modes |
|
Objectifs de la formation
- Comprendre les mécanismes du prélèvement à la source
- Sécuriser les procédures
- Répondre aux sollicitations du personnel
| Tarif |
A partir de 1 390,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
- Cette formation fait l'objet d'une évaluation formative.
| Tarif |
Contacter l'organisme |
| Durée |
5 jours (35 heures) |
| Modes |
|
Objectifs de la formation
- Valider sa maîtrise des fonctionnalités fondamentales du logiciel QGis
- Savoir exploiter les fonctions avancées du logiciel QGis
| Tarif |
A partir de 3 000,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l’issue de la formation, le stagiaire sera capable de :
- Acquérir les bases pour des conversations orales simples en face à face ou au téléphone
- Accueillir des collaborateurs étrangers, (notions interculturelles)
- Rédiger des courriers, mails, compte-rendu,améliorer la prise de notes
- Réviser les structures de la langue, de la grammaire et du vocabulaire de base sur les 4 critères linguistiques (compréhension orale et écrite / expression orale et écrite)
- Maîtriser les principales structures grammaticales et lexicales pour rédiger simplement et clairement
- Acquérir des automatismes communicationnels pour interagir dans des situations simples
- Maîtriser le vocabulaire de base en rapport avec les problématiques professionnelles habituelles
- Acquérir des compétences de comportement efficace dans un environnement multiculturel
| Tarif |
A partir de 600,00 € |
| Durée |
25 heures (minimum) |
| Modes |
|
