Formation Grands Modèles de Langage (LLM) et Apprentissage par Renforcement (RL)

Introduction aux Grands Modèles de Langage (LLM)

• Vue d'ensemble des LLM
• Définition et importance
• Applications dans l'IA aujourd'hui

Architecture Transformer

• Qu'est-ce qu'un Transformer et comment fonctionne-t-il ?
• Composants principaux et caractéristiques
• Embedding et encodage positionnel
• Attention multi-têtes
• Réseau de neurones à propagation avant (feed-forward)
• Normalisation et connexions résiduelles

Modèles Transformer

• Mécanisme d'auto-attention
• Architecture encodeur-décodeur
• Embeddings positionnels
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Optimisation des performances et écueils

• Longueur du contexte
• Mamba et modèles à espace d'état (state-space)
• Flash attention
• Transformers creux (sparse transformers)
• Transformers visuels (vision transformers)
• Importance de la quantification

Amélioration des Transformers

• Génération de texte augmentée par récupération (Retrieval Augmented Generation)
• Mélange de modèles (Mixture of Experts/Models)
• Arbre de pensées (Tree of Thoughts)

Ajustement fin (Fine-Tuning)

• Théorie de l'adaptation de faible rang (Low-Rank Adaptation)
• Fine-tuning avec QLoRA

Lois d'échelle et optimisation dans les LLM

• Importance des lois d'échelle pour les LLM
• Montée en échelle des données et de la taille du modèle
• Montée en échelle computationnelle
• Montée en échelle de l'efficacité des paramètres

Optimisation

• Lien entre la taille du modèle, la taille des données, le budget de calcul et les exigences d'inférence
• Optimisation des performances et de l'efficacité des LLM
• Pratiques recommandées et outils pour l'entraînement et le fine-tuning des LLM

Entraînement et ajustement fin (Fine-Tuning) des LLM

• Étapes et défis de l'entraînement des LLM à partir de zéro
• Acquisition et maintenance des données
• Données à grande échelle, exigences en matière de CPU et de mémoire
• Défis de l'optimisation
• Panorama des LLM open-source

Fondamentaux de l'Apprentissage par Renforcement (RL)

• Introduction à l'apprentissage par renforcement
• Apprentissage par renforcement positif
• Définition et concepts clés
• Processus de décision de Markov (MDP)
• Programmation dynamique
• Méthodes de Monte Carlo
• Apprentissage par différence temporelle (Temporal Difference Learning)

Apprentissage profond par renforcement (Deep Reinforcement Learning)

• Deep Q-Networks (DQN)
• Optimisation par politique proximale (Proximal Policy Optimization - PPO)
• Éléments de l'apprentissage par renforcement

Intégration des LLM et de l'Apprentissage par Renforcement

• Combinaison des LLM avec l'apprentissage par renforcement
• Utilisation du RL dans les LLM
• Rafinement par renforcement avec retour humain (RLHF - Reinforcement Learning from Human Feedback)
• Alternatives au RLHF

Études de cas et applications

• Applications réelles
• Histoires de réussite et défis relevés

Sujets avancés

• Techniques avancées
• Méthodes d'optimisation avancées
• Recherche et développements de pointe

Résumé et prochaines étapes