Formation Ajustement fin (Fine-Tuning) des modèles et des grands modèles de langage (LLM)

Introduction à l'ajustement fin

• Qu'est-ce que l'ajustement fin ?
• Cas d'utilisation et avantages de l'ajustement fin
• Aperçu des modèles pré-entraînés et de l'apprentissage par transfert

Préparation à l'ajustement fin

• Collecte et nettoyage des ensembles de données
• Compréhension des exigences spécifiques aux tâches
• Analyse exploratoire des données et prétraitement

Techniques d'ajustement fin

• Apprentissage par transfert et extraction de caractéristiques
• Ajustement fin des transformateurs avec Hugging Face
• Ajustement fin pour les tâches supervisées vs non supervisées

Ajustement fin des grands modèles de langage (LLM)

• Adaptation des LLM pour des tâches de TALN (par exemple, classification de texte, résumé)
• Entraînement des LLM avec des ensembles de données personnalisés
• Contrôle du comportement des LLM grâce à l'ingénierie des invites

Optimisation et évaluation

• Ajustement des hyperparamètres
• Évaluation des performances du modèle
• Prise en charge du surapprentissage et du sous-apprentissage

Mise à l'échelle des efforts d'ajustement fin

• Ajustement fin sur des systèmes distribués
• Exploitation de solutions basées sur le cloud pour la scalabilité
• Études de cas : projets d'ajustement fin à grande échelle

Meilleures pratiques et défis

• Meilleures pratiques pour réussir l'ajustement fin
• Défis courants et dépannage
• Considérations éthiques dans l'ajustement fin des modèles d'IA

Sujets avancés (optionnel)

• Ajustement fin des modèles multimodaux
• Apprentissage zéro-shot et few-shot
• Exploration des techniques de LoRA (Adaptation à faible rang)

Résumé et prochaines étapes