Prenez contact avec nous
 Durée 14 heures

Plan du cours

Introduction à l’apprentissage par renforcement à partir des retours d’expérience humains (RLHF)

  • Qu’est-ce que le RLHF et pourquoi est-il important
  • Comparaison avec les méthodes d’affinage supervisé
  • Applications du RLHF dans les systèmes d’IA modernes

Modélisation des récompenses à partir des retours d’expérience humains

  • Collecte et structuration des retours d’expérience humains
  • Conception et entraînement des modèles de récompense
  • Évaluation de l’efficacité des modèles de récompense

Entraînement par optimisation de politique proximale (PPO)

  • Aperçu des algorithmes PPO pour le RLHF
  • Mise en œuvre de PPO avec des modèles de récompense
  • Affinage itératif et sûr des modèles

Approche pratique de l’affinage des modèles de langage

  • Préparation des jeux de données pour les flux de travail RLHF
  • Pratique de l’affinage d’un petit LLM à l’aide du RLHF
  • Défis et stratégies d’atténuation

Passage à l’échelle du RLHF vers les systèmes de production

  • Considérations en matière d’infrastructure et de puissance de calcul
  • Assurance qualité et boucles de rétroaction continues
  • Meilleures pratiques pour le déploiement et la maintenance

Aspects éthiques et atténuation des biais

  • Gestion des risques éthiques liés aux retours d’expérience humains
  • Stratégies de détection et de correction des biais
  • Garantir l’alignement et des sorties sûres

Études de cas et exemples du monde réel

  • Étude de cas : Affinage de ChatGPT par RLHF
  • Autres déploiements réussis du RLHF
  • Leçons tirées et informations sectorielles

Pré requis

  • Une bonne compréhension des fondamentaux de l’apprentissage supervisé et de l’apprentissage par renforcement
  • De l’expérience dans l’affinage de modèles et les architectures de réseaux de neurones
  • Une connaissance de la programmation Python et des frameworks d’apprentissage profond (par ex. TensorFlow, PyTorch)

Public visé

  • Ingénieurs en apprentissage automatique
  • Chercheurs en IA

Nombre de participants


Prix par participant

Nos clients témoignent (1)

Cours à venir

Catégories Similaires