Formation - IA Générative - Les modèles de langages massifs (LLMs)
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée | 2 jours (14 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
Contacter l'organisme |
| Durée | 2 jours (14 heures) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Programme
1 - Introduction
- Un changement de paradigme
- Qu’est ce qui change ?
- Une publication fondatrice
- Une loi d’échelle pour les modèles de langage
- Évolution temporelle des LLMs
- De nouveaux écosystèmes
- L’ère du Post Deep Learning
- Personnalisation par Prompts
- Personnalisation par enrichissement
- Personnalisation par réglage fin
2 - Cas d'usage
- Agents conversationnels et assistants virtuels
- Génération de code et debuggage
- Analyse de sentiments / opinions
- Classification de texte et clusterisation
- Synthèse de texte ou corpus
- Traduction
- Génération de contenu
- Autres cas d'usages significatifs
- LAB : Proof of concept sur cas concrets
3 - Fondations
- Le traitement du langage naturel (TAL)
- L’architecture disruptive des Transformers
- La tokenisation des textes
- L’encodeur d’un Transformer
- La couche d’embedding
- L’encodage de positionnement
- Vecteur de positionnement
- Le mécanisme d’attention multi-têtes
- Points essentiels du mécanisme d’attention
- La “spécialisation” des têtes d’attention
- Calcul des scores d’attention
- Addition et Normalisation des sorties
- Le Décodeur d’un Tranformer
- L’entraînement d’un Transformer
- La couche d’auto-attention masquée
- La couche d’attention du décodeur
- Les couches supérieures du décodeur
4 - En pratique
- Choisir un LLM
- Critères de choix
- Trois classes de modèles
- Modèles à encodeur simple
- Focus modèles BERTs
- Modèles à décodeur simple
- Focus modèles GPTs
- Un foisonnement de modèles dérivés
- La bataille des LLMs
- La course vers des LLMs légers
- L’exemple de LLaMa
- Trois approches de réduction
- Écosystèmes clés
- APIs de modèles Fermés
- HuggingFace et les modèles ouverts
- Écosystèmes applicatifs type LangChain
- LLMops et MLFlow
Prise en main des écosystèmes LLMs clés
5 - Mise en oeuvre
- Choix service / in house / hybrid
- In house workflow
- Service workflow
- Écosystèmes d'entraînement et d'inférence
- L'entraînement d'un modèle massif
- L'étape d'évaluation des modèles
- Le réglage des hyperparamètres
- Déploiement d'un modèle
- Model fine-tuning
- Prompt engineering
- MLOps d'un LLMs
- LAB : Environnement de déploiement d'un LLM
6 - Le Prompt Engineering
- Configuration des paramètres des LLMs
- Qu’est ce qu’un token ?
- Notion de distribution des probabilités des LLMs
- Les échantillonnages Top-K et top-p
- La température du modèle
- Le réglage des paramètres en pratique
- Les composantes d’un prompt
- Règles générales
- L’approche Few-Shot Learning
- Zero, one to Few-shot learning
- L’approche Chain of thoughts
- L’incitation par chaînes de pensées
- Des approches plus avancées
- ReAct Prompting
- Méthode ReAct
Prompt Engineering sur cas concrets
7 - LLMs augmentés
- Au delà du prompt, l’enrichissement des LLMs
- Ajout de capacité mémorielle
- Mémoire tampon (Buffer Memory)
- Plusieurs mécanismes de mémorisation
- Les mémoires de l’écosystème LangChain
- Élargissement des connaissances
- Retrieval Augmented Generation (RAG)
- Le partitionnement des textes externes
- Projection sémantique des documents (Embeddings)
- Les bases de données vectorielles
- Les algorithmes du search dans les bases vectorielles
- Une galaxie d’outils possibles !
Mise en oeuvre d’un agent conversationnel
8 - Déploiement de LLMs
- Quand le prompt engineering ne suffit plus
- Qu’est ce que le réglage fin
- Trois techniques classiques
- Reinforcement learning by Human feedback (RLHF)
- Détails d’un réglage fin Supervisé
- Les trois options pour l’ajustement des paramètres
- Les approches PEFT (Parameter Efficient Tuning)
- La méthode LoRA (Low Rank Adaptation)
- Une variante efficiente : QLoRA
- Qu’est ce que la mise en service d’un LLM
- Journaliser le modèle dans le registre des modèles
- Création d’un point de terminaison vers le modèle
- Interroger le point de terminaison
Réglage fin et mise en service d’un LLM
Prérequis
- Une connaissance de base des principes de Machine Learning et de Deep Learning
- La maîtrise d’une langage de script type Python est recommandé
- Disposez-vous des connaissances nécessaires pour suivre cette formation ? Testez-vous !
Public
- Chefs de projets
- Développeurs
- Data scientists
Ces formations pourraient vous intéresser
Formation Durée du travail : dispositifs, gestion et suivi au quotidien
Proposé par LEFEBVRE DALLOZ COMPETENCESObjectifs de la formation
- Appliquer le dispositif légal du temps de travail
- Choisir les options les plus pertinentes en matière d'aménagement du temps de travail
- Assurer le suivi de la durée du travail dans son entreprise
| Tarif |
A partir de 1 803,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Pendant la formation, le formateur évalue la progression pédagogique des participants via des QCM, des mises en situation et des travaux pratiques. Les participants passent un test de positionnement avant et après la formation pour valider leurs compétences acquises.
| Tarif |
Contacter l'organisme |
| Durée |
15 jours (105 heures) |
| Modes |
|
Objectifs de la formation
- Maîtrisez l’actualité et les nouvelles pratiques 2024 de négociation et de rédaction du droit des contrats avec d’éminents Professeurs de droit et Avocats.
- Promesse, pacte de préférence, environnement du contrat, durée… : maîtrisez toutes les nouveautés dans votre pratique contractuelle
- Effet relatif des contrats, remèdes à l’inexécution et gestion de la période post-contractuelle : anticipez les difficultés liées à l’exécution des contrats
| Tarif |
A partir de 1 095,00 € |
| Durée |
1 jour 7 heures |
| Modes |
|
Objectifs de la formation
- Découvrir le logiciel SketchUp
- Créer une scène composée de modélisations, de textures et d'animations simples afin d'avoir un rendu convaincant
- Gérer l'utilisation globale de SketchUp et la méthodologie de travail professionnelle pour mener à bien un projet 3D
| Tarif |
A partir de 1 390,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Sélectionner une solution de technologie cloud appropriée à un besoin ;
- Développer pour le stockage du cloud ;
- Créer les solutions Platform as a Service (PaaS) ;
- Sécuriser les solutions Cloud ;
- Mettre à l’échelle une solution Azure ;
- Réagir aux évènements, échanger des messages applicatifs ;
- Gérer les APIs via APIM.
| Tarif |
A partir de 3 150,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
- Créer des rapports avec Birt
- Maîtriser les fonctionnalités de mise en forme
- Enrichir des rapports avec des graphiques, des tableaux...
| Tarif |
A partir de 1 200,00 € |
| Durée |
2 jours |
| Modes |
|
Objectifs de la formation
- Identifier les enjeux de la relation client à distance
- Gérer la communication verbale
- Organiser une relation positive avec son client
- Identifier et gérer les situations à risque
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Appréhender l'architecture de la plateforme Alfresco pour y développer de nouvelles fonctionnalités.
- Mettre en place un environnement de développement pour Alfresco avec Maven et Eclipse.
- Comprendre le SDK Alfresco et savoir l'utiliser en développement.
- Etendre le modèle de données et de permissions d'Alfresco pour personnaliser les méta-données des documents.
- Modéliser et créer de nouveaux types de contenu et aspects.
- Concevoir de nouvelles fonctionnalités de la GED en Java avec Spring et les APIs de service d'Alfresco.
- Créer des nouvelles actions et comportements en Java.
- Développer des scripts et des WebScripts avec JavaScript et les APIs de service d'Alfresco.
- Personnaliser l'apparence d'Alfresco Share pour intégrer les nouvelles fonctionnalités dans l'interface.
- Packager des applications afin de pouvoir les redistribuer.
| Tarif |
Contacter l'organisme |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Identifier le rôle du contrôle de gestion dans l'industrie
- Evaluer les coûts et les investissements
- Concevoir un budget opérationnel et analyser les écarts
- Gérer l'activité et construire des plans d'action
| Tarif |
A partir de 1 390,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Comprendre les caractéristiques de la démarche projet
- Identifier les incontournables de la réussite en appliquant les techniques de management de projet
- S'approprier la méthodologie et les outils en mode projet
| Tarif |
A partir de 1 390,00 € |
| Durée |
3j / 21h |
| Modes |
|
