Prenez contact avec nous

Plan du cours

Introduction aux Grands Modèles de Langage (LLM)

  • Vue d'ensemble des LLM
  • Définition et importance
  • Applications dans l'IA aujourd'hui

Architecture Transformer

  • Qu'est-ce qu'un Transformer et comment fonctionne-t-il ?
  • Composants principaux et caractéristiques
  • Embedding et encodage positionnel
  • Attention multi-têtes
  • Réseau de neurones à propagation avant (feed-forward)
  • Normalisation et connexions résiduelles

Modèles Transformer

  • Mécanisme d'auto-attention
  • Architecture encodeur-décodeur
  • Embeddings positionnels
  • BERT (Bidirectional Encoder Representations from Transformers)
  • GPT (Generative Pretrained Transformer)

Optimisation des performances et écueils

  • Longueur du contexte
  • Mamba et modèles à espace d'état (state-space)
  • Flash attention
  • Transformers creux (sparse transformers)
  • Transformers visuels (vision transformers)
  • Importance de la quantification

Amélioration des Transformers

  • Génération de texte augmentée par récupération (Retrieval Augmented Generation)
  • Mélange de modèles (Mixture of Experts/Models)
  • Arbre de pensées (Tree of Thoughts)

Ajustement fin (Fine-Tuning)

  • Théorie de l'adaptation de faible rang (Low-Rank Adaptation)
  • Fine-tuning avec QLoRA

Lois d'échelle et optimisation dans les LLM

  • Importance des lois d'échelle pour les LLM
  • Montée en échelle des données et de la taille du modèle
  • Montée en échelle computationnelle
  • Montée en échelle de l'efficacité des paramètres

Optimisation

  • Lien entre la taille du modèle, la taille des données, le budget de calcul et les exigences d'inférence
  • Optimisation des performances et de l'efficacité des LLM
  • Pratiques recommandées et outils pour l'entraînement et le fine-tuning des LLM

Entraînement et ajustement fin (Fine-Tuning) des LLM

  • Étapes et défis de l'entraînement des LLM à partir de zéro
  • Acquisition et maintenance des données
  • Données à grande échelle, exigences en matière de CPU et de mémoire
  • Défis de l'optimisation
  • Panorama des LLM open-source

Fondamentaux de l'Apprentissage par Renforcement (RL)

  • Introduction à l'apprentissage par renforcement
  • Apprentissage par renforcement positif
  • Définition et concepts clés
  • Processus de décision de Markov (MDP)
  • Programmation dynamique
  • Méthodes de Monte Carlo
  • Apprentissage par différence temporelle (Temporal Difference Learning)

Apprentissage profond par renforcement (Deep Reinforcement Learning)

  • Deep Q-Networks (DQN)
  • Optimisation par politique proximale (Proximal Policy Optimization - PPO)
  • Éléments de l'apprentissage par renforcement

Intégration des LLM et de l'Apprentissage par Renforcement

  • Combinaison des LLM avec l'apprentissage par renforcement
  • Utilisation du RL dans les LLM
  • Rafinement par renforcement avec retour humain (RLHF - Reinforcement Learning from Human Feedback)
  • Alternatives au RLHF

Études de cas et applications

  • Applications réelles
  • Histoires de réussite et défis relevés

Sujets avancés

  • Techniques avancées
  • Méthodes d'optimisation avancées
  • Recherche et développements de pointe

Résumé et prochaines étapes

Pré requis

  • Compréhension de base du Machine Learning

Public cible

  • Data scientists
  • Ingénieurs logiciels
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires