Plan du cours

Introduction aux Méthodes d'Optimisation Paramétrique (PEFT)

  • Motivation et limites de la réentraînement complet
  • Aperçu des PEFT : objectifs et avantages
  • Applications et cas d'utilisation dans l'industrie

LoRA (Adaptation de Rang Faible)

  • Concept et intuition derrière LoRA
  • Mise en œuvre de LoRA avec Hugging Face et PyTorch
  • Pratique : Réentraînement d'un modèle avec LoRA

Tuning des Adapters

  • Fonctionnement des modules adaptateurs
  • Intégration avec les modèles basés sur les transformeurs
  • Pratique : Application du Tuning des Adapters à un modèle de transformateur

Tuning par Préfixe

  • Utilisation de prompts doux pour le réentraînement
  • Avantages et limites comparés à LoRA et aux adaptateurs
  • Pratique : Tuning par Préfixe sur une tâche LLM

Évaluation et Comparaison des Méthodes PEFT

  • Métriques pour évaluer les performances et l'efficacité
  • Compromis en termes de vitesse d'apprentissage, d'utilisation de la mémoire et de précision
  • Expériences de benchmarking et interprétation des résultats

Déploiement des Modèles Réentraînés

  • Sauvegarde et chargement des modèles réentraînés
  • Considérations pour le déploiement des modèles basés sur PEFT
  • Intégration dans les applications et pipelines

Bonnes Pratiques et Extensions

  • Combinaison de PEFT avec la quantification et la distillation
  • Utilisation dans des contextes à ressources limitées et multilingues
  • Directions futures et domaines de recherche actifs

Récapitulatif et Étapes Suivantes

Pré requis

  • Une compréhension des fondamentaux de l'apprentissage automatique
  • Expérience de travail avec les grands modèles linguistiques (LLMs)
  • Familiarité avec Python et PyTorch

Public cible

  • Scientifiques des données
  • Ingénieurs en IA
 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires