Prenez contact avec nous

Plan du cours

Introduction à l'optimisation des grands modèles

  • Aperçu des architectures de grands modèles
  • Défis du fine-tuning des grands modèles
  • Importance de l'optimisation rentable

Techniques d'entraînement distribué

  • Introduction au parallélisme des données et des modèles
  • Frameworks pour l'entraînement distribué : PyTorch et TensorFlow
  • Mise à l'échelle sur plusieurs GPU et nœuds

Quantification et élagage des modèles

  • Compréhension des techniques de quantification
  • Application de l'élagage pour réduire la taille des modèles
  • Arbitrages entre précision et efficacité

Optimisation du matériel

  • Choix du matériel adapté aux tâches de fine-tuning
  • Optimisation de l'utilisation des GPU et des TPU
  • Utilisation d'accélérateurs spécialisés pour les grands modèles

Gestion efficace des données

  • Stratégies de gestion de grands ensembles de données
  • Prétraitement et regroupement pour améliorer les performances
  • Techniques d'augmentation des données

Déploiement des modèles optimisés

  • Techniques de déploiement des modèles ajustés
  • Surveillance et maintien des performances des modèles
  • Exemples réels de déploiement de modèles optimisés

Techniques d'optimisation avancées

  • Exploration de l'adaptation à faible rang (LoRA)
  • Utilisation d'adaptateurs pour le fine-tuning modulaire
  • Tendances futures dans l'optimisation des modèles

Résumé et prochaines étapes

Pré requis

  • Expérience avec des frameworks d'apprentissage profond comme PyTorch ou TensorFlow
  • Connaissance des grands modèles de langage et de leurs applications
  • Compréhension des concepts de calcul distribué

Public cible

  • Ingénieurs en apprentissage automatique
  • Spécialistes de l'IA sur le cloud
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires