Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 14 heures
Plan du cours
Introduction à l’apprentissage par renforcement à partir des retours d’expérience humains (RLHF)
- Qu’est-ce que le RLHF et pourquoi est-il important
- Comparaison avec les méthodes d’affinage supervisé
- Applications du RLHF dans les systèmes d’IA modernes
Modélisation des récompenses à partir des retours d’expérience humains
- Collecte et structuration des retours d’expérience humains
- Conception et entraînement des modèles de récompense
- Évaluation de l’efficacité des modèles de récompense
Entraînement par optimisation de politique proximale (PPO)
- Aperçu des algorithmes PPO pour le RLHF
- Mise en œuvre de PPO avec des modèles de récompense
- Affinage itératif et sûr des modèles
Approche pratique de l’affinage des modèles de langage
- Préparation des jeux de données pour les flux de travail RLHF
- Pratique de l’affinage d’un petit LLM à l’aide du RLHF
- Défis et stratégies d’atténuation
Passage à l’échelle du RLHF vers les systèmes de production
- Considérations en matière d’infrastructure et de puissance de calcul
- Assurance qualité et boucles de rétroaction continues
- Meilleures pratiques pour le déploiement et la maintenance
Aspects éthiques et atténuation des biais
- Gestion des risques éthiques liés aux retours d’expérience humains
- Stratégies de détection et de correction des biais
- Garantir l’alignement et des sorties sûres
Études de cas et exemples du monde réel
- Étude de cas : Affinage de ChatGPT par RLHF
- Autres déploiements réussis du RLHF
- Leçons tirées et informations sectorielles
Pré requis
- Une bonne compréhension des fondamentaux de l’apprentissage supervisé et de l’apprentissage par renforcement
- De l’expérience dans l’affinage de modèles et les architectures de réseaux de neurones
- Une connaissance de la programmation Python et des frameworks d’apprentissage profond (par ex. TensorFlow, PyTorch)
Public visé
- Ingénieurs en apprentissage automatique
- Chercheurs en IA
Nos clients témoignent (1)
les exemples très parlant et les exercice appliqués