Formation - Mise en oeuvre du Deep Learning
Prérequis
- Avoir suivi la formation "Les bases de l'apprentissage Machine (Machine Learning)" (BI105)
- Connaissance d’un langage de programmation, idéalement python
Public admis
- Salarié en Poste
- Entreprise
Demandeur d'emploi et Etudiant non admis
Financement
- Votre OPCO
- Financement personnel
Financement CPF non pris en charge
Modalités
- En entreprise
- À distance
- En centre
Objectifs pédagogiques
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
Programme de la formation
1 - Introduction
- L'avènement du Deep Learning
- Deep Learning Time line
- Que peuvent apprendre les machines ?
2 - Réseaux de neurones simples (NNs)
- Le Perceptron
- Le Perceptron multi-couches
- L'entrainement d'un Perceptron
- Principe de back propagation
- Les optimiseurs du Deep Learning
- La régularisation des réseaux de neurones
- Techniques de réglages des NN
- Lab : mise en oeuvre d'un Perceptron Multi-couches
3 - Réseaux de neurones convolutifs (convolutional neural networks - CNNs)
- Pourquoi ce type de réseaux
- Principe de fonctionnement des CNNs
- Les champs de réceptions locaux
- Les poids partagés
- Convolution - notion de Padding
- Convolution - Principe du calcul
- Les couches de sous-échantillonnage (pooling)
- Les CNNs très profonds (DCNNs)
- Modèles CNNs - Concours ImageNet
- Architectures DCNNs
- Mécanisme d'Inception (Google)
- L'apprentissage par transfert (Transfer Learning)
- La promesse des réseaux de Capsules
Mise en oeuvre de réseaux de neurones convolutifs pour la reconnaissance d'objets simples
Développement d'un modèle profond par transfer learning et application à la reconnaissance fine d'objets
4 - Réseaux de neurones auto-encodeurs et variationnels (AEs et VAEs)
- Auto-encodeurs génériques : Principes de fonctionnement ; Choix des fonctions d'encodage/décodage ; L'opération de "déconvolution" ; Usages des auto-encodeurs et modes d'apprentissage
- Auto-encodeurs variationnels (variational autoencoders ) : Pourquoi les VAEs ; Principes de fonctionnement ; Modèle d'inférence variationnelle ; Fonction de perte des VAEs ; Optimisation : astuce du re-paramétrage ; Exemple de mise en oeuvre d'un VAE ; Différentes variantes courantes des VAEs
Développement et application d'auto-encodeurs au débruitage et à la génération de variations naturelles de données
5 - Réseaux antagonistes génératifs (generative adversial networks - GANs)
- L’exemple des Deep Fake Faces
- Taxonomie des modèles génératifs
- Publication fondatrice des GANs
- Les GANs, des réseaux en coopétition
- Modèles générateurs et discriminants
- Intérêts des GANs
- Problématiques classiques des GANs
- Taxonomies des GANs
- Principes de fonctionnement des GANs standards
- Principes d’entraînement
- Approche formelle de l’entraînement
- Les GANS convolutionnels profonds type DCGANs
- Focus sur des GANs de référence plus avancés
- L’apprentissage progressif type PROGANS
- L’apprentissage conditionnel type CGANS
- La captation de traits distants type SAGANS
- L’apprentissage cyclique type CYCLEGANS
- Le transfert de style type STYLEGANS
- Synthèse modèles GANS
Mise en oeuvre de GANs convolutionnels profond (DCGANs) sur cas concrets
StyleGAN appliqué à la génération d’images fines à hautes résolution
6 - Réseaux de neurones séquentiels (RNNs, Transformers, etc.)
- Introduction
- Les réseaux neuronaux récursifs simples
- Les différentes topologies des RNNs
- L’évanescence et l’explosion des gradients
- La variante LSTM des RNNs
- Autre variante : GRULes RNNs bidirectionnels
- Le Traitement de très longues séquences
- L’approche pure convolutive du modèle Wavenet
- Les approches encodeur - décodeur
- Les réseaux SequenceToSequence simples (seq2sec)
- L’entraînement d’un réseau seq2seq
- L’inférence d’un réseau seq2sec
- Le mécanisme “Attention”
- Un scoring de correspondance entre éléments
- Attention : Alignement dynamique des poids
- Attention : calcul de la fonction d’alignement
- L’architecture disruptive des Transformers
- L’approche Key, Value et Query
- Illustration du calcul d’alignement
- Un mécanisme Multi-têtes d’attention
- Qu’apporte un mécanisme Self-Attention
- Architecture complète des Transformers
- Hyperparamètres clés des Transformers
Construction d’un Agent Conversationnel (en français) avec un modèle Transformer
7 - Réseaux de neurones profonds auto-apprenants
- L'apprentissage profond par renforcement (deep reinforcement learning - DRL) : Principes de fonctionnement ; Cadre Markovien ; Notions de valeur d'état et de politique ; Processus de décision Markovien (MDP) ; Résolution par différents apprentissages ; Taxonomies des algorithmes RL
- Algorithmes profonds basés sur la valeur : Principe d'optimalité de Bellman ; La valeur d'action Q ; Apprentissage profond de la valeur d'action Q ; Principes du fonctionnement des DQN (deep Q network) ; Approche par exploration - exploitation ; La relecture d'expérience (experience replay) ; Principe d'entraînement du réseau Q ; Variante DDQN
- Algorithmes profonds basés sur la valeur : Méthodes types Gradient de la politique ; Approche REINFORCE : principes et formalisme ; Modélisation de la politique ; Théorème du Gradient de la Politique ; Algorithme REINFORCE
- Algorithmes mixtes : Variante REINFORCE avec base de référence ; Autres variantes : ACTOR-CRITIC, A2C ; ALFAGO et évolutions
Mise en oeuvre de plusieurs réseaux d'apprentissage par renforcement sur cas concrets

Proposé par
IB Cegos
"Formations aux technologies et métiers du Numérique"

Proposé par
IB Cegos
