Plan du cours

Introduction aux modèles de langage open source (LLMs)

  • Ce qu'est un modèle à poids ouverts et pourquoi ils sont importants
  • Aperçu de LLaMA, Mistral, Qwen et d'autres modèles communautaires
  • Cas d'utilisation pour des déploiements privés, sur site ou sécurisés

Configuration de l'environnement et outils

  • Installation et configuration des bibliothèques Transformers, Datasets et PEFT
  • Choix du matériel approprié pour le fine-tuning
  • Chargement de modèles pré-entraînés depuis Hugging Face ou d'autres dépôts

Préparation et prétraitement des données

  • Formats de jeux de données (ajustement d'instructions, données de chat, texte seul)
  • Tokénisation et gestion des séquences
  • Création de jeux de données personnalisés et chargeurs de données

T techniques de fine-tuning

  • Fine-tuning standard complet versus méthodes à paramètres efficaces
  • Application de LoRA et QLoRA pour un fine-tuning efficient
  • Utilisation de l'API Trainer pour des expérimentations rapides

Évaluation et optimisation du modèle

  • Évaluation des modèles fine-tuned avec des métriques de génération et d'exactitude
  • Gestion du surapprentissage, de la généralisation et des ensembles de validation
  • Tips pour l'optimisation des performances et journalisation

Déploiement et utilisation privée

  • Sauvegarde et chargement de modèles pour l'inférence
  • Déploiement de modèles fine-tuned dans des environnements d'entreprise sécurisés
  • Stratégies de déploiement sur site versus cloud

Cas d'études et cas d'utilisation

  • Exemples d'utilisation d'entreprise de LLaMA, Mistral et Qwen
  • Gestion du fine-tuning multilingue et spécifique à un domaine
  • Débat : compromis entre modèles ouverts et fermés

Bilan et étapes suivantes

Pré requis

  • Une compréhension des grands modèles linguistiques (LLMs) et de leur architecture
  • Une expérience avec Python et PyTorch
  • Une familiarité de base avec l'écosystème Hugging Face

Public cible

  • Praticiens du ML
  • Développeurs AI
 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires