Prenez contact avec nous

Plan du cours

Introduction à l'apprentissage par renforcement à partir de retours humains (RLHF)

  • Qu'est-ce que le RLHF et pourquoi est-il important
  • Comparaison avec les méthodes d'affinage supervisé
  • Applications du RLHF dans les systèmes d'IA modernes

Modélisation de la récompense avec les retours humains

  • Collecte et structuration des retours humains
  • Construction et entraînement des modèles de récompense
  • Évaluation de l'efficacité des modèles de récompense

Entraînement avec l'optimisation par politique proximale (PPO)

  • Aperçu des algorithmes PPO pour le RLHF
  • Mise en œuvre de PPO avec des modèles de récompense
  • Affinement itératif et sécurisé des modèles

Affinage pratique des modèles de langage

  • Prparation des jeux de données pour les flux de travail RLHF
  • Affinement pratique d'un petit LLM en utilisant le RLHF
  • Défis et stratégies d'atténuation

Mise à l'échelle du RLHF vers les systèmes de production

  • Considérations relatives à l'infrastructure et au calcul
  • Assurance qualité et boucles de rétroaction continues
  • Meilleures pratiques pour le déploiement et la maintenance

Considérations éthiques et atténuation des biais

  • Adresse des risques éthiques dans les retours humains
  • Stratégies de détection et de correction des biais
  • Garantie de l'alignement et des sorties sûres

Études de cas et exemples réels

  • Étude de cas : Affinage de ChatGPT avec RLHF
  • Autres déploiements réussis de RLHF
  • Leçons apprises et perceptions du secteur

Résumé et prochaines étapes

Pré requis

  • Une compréhension des fondamentaux de l'apprentissage supervisé et de l'apprentissage par renforcement
  • De l'expérience avec l'affinage de modèles et les architectures de réseaux neuronaux
  • Une familiarité avec la programmation Python et les frameworks d'apprentissage profond (par exemple, TensorFlow, PyTorch)

Audience

  • Ingénieurs en apprentissage automatique
  • Chercheurs en IA
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires