Prenez contact avec nous

Plan du cours

Introduction aux LLM open source

  • Qu'est-ce qu'un modèle à poids ouvert et pourquoi est-il important ?
  • Aperçu de LLaMA, Mistral, Qwen et d'autres modèles de la communauté.
  • Cas d'usage pour les déploiements privés, sur site ou sécurisés.

Configuration de l'environnement et outils

  • Installation et configuration des bibliothèques Transformers, Datasets et PEFT.
  • Choix du matériel approprié pour l'ajustement fin.
  • Chargement de modèles pré-entraînés depuis Hugging Face ou d'autres référentiels.

Préparation et prétraitement des données

  • Formats de jeux de données (ajustement par instructions, données de dialogue, texte brut).
  • Tokenisation et gestion des séquences.
  • Création de jeux de données personnalisés et de chargeurs de données (data loaders).

Techniques d'ajustement fin

  • Ajustement fin complet standard versus méthodes efficaces en paramètres.
  • Application de LoRA et QLoRA pour un ajustement fin efficace.
  • Utilisation de l'API Trainer pour des expérimentations rapides.

Évaluation et optimisation des modèles

  • Évaluation des modèles ajustés finement via les métriques de génération et de précision.
  • Gestion du surapprentissage, de la généralisation et des ensembles de validation.
  • Conseils d'optimisation des performances et journalisation (logging).

Déploiement et utilisation privée

  • Sauvegarde et chargement des modèles pour l'inférence.
  • Déploiement des modèles ajustés finement dans des environnements d'entreprise sécurisés.
  • Stratégies de déploiement sur site versus dans le cloud.

Études de cas et cas d'usage

  • Exemples d'utilisation enterprise de LLaMA, Mistral et Qwen.
  • Gestion de l'ajustement fin multilingue et spécifique à un domaine.
  • Débat : compromis entre modèles ouverts et fermés.

Synthèse et prochaines étapes

Pré requis

  • Une compréhension des grands modèles de langage (LLM) et de leur architecture.
  • Une expérience avec Python et PyTorch.
  • Une familiarité de base avec l'écosystème Hugging Face.

Public cible

  • Praticiens en apprentissage automatique (ML).
  • Développeurs en intelligence artificielle (IA).
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires