Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Fondements du débogage et de l'évaluation avec Mastra
- Comprendre les modèles de comportement des agents et les modes de défaillance
- Principes fondamentaux du débogage au sein de Mastra
- Évaluation des actions des agents déterministes et non déterministes
Mise en place d'environnements pour les tests d'agents
- Configuration de bac à sable de test et d'espaces d'évaluation isolés
- Capture des journaux, des traces et de la télémétrie pour une analyse détaillée
- Préparation des jeux de données et des invites pour les tests structurés
Débogage du comportement des agents IA
- Traçage des chemins de décision et des signaux de raisonnement internes
- Identification des hallucinations, des erreurs et des comportements indésirables
- Utilisation des tableaux de bord d'observabilité pour l'investigation des causes racines
Métriques d'évaluation et cadres de référence
- Définition des métriques d'évaluation quantitatives et qualitatives
- Mesure de la précision, de la cohérence et de la conformité contextuelle
- Application de jeux de données de référence pour une évaluation répétable
Ingénierie de la fiabilité pour les agents IA
- Conception de tests de fiabilité pour les agents à longue exécution
- Détection de la dérive et de la dégradation des performances des agents
- Mise en place de garde-fous pour les workflows critiques
Processus d'assurance qualité et automatisation
- Création de pipelines QA pour l'évaluation continue
- Automatisation des tests de régression pour les mises à jour des agents
- Intégration de la QA avec les workflows CI/CD et d'entreprise
Techniques avancées pour la réduction des hallucinations
- Stratégies d'invites pour réduire les sorties indésirables
- Boucles de validation et mécanismes d'auto-vérification
- Expérimentation avec des combinaisons de modèles pour améliorer la fiabilité
Rapports, surveillance et amélioration continue
- Développement de rapports QA et de tableaux de bord pour les agents
- Surveillance du comportement à long terme et des schémas d'erreurs
- Itération sur les cadres d'évaluation pour les systèmes évolutifs
Résumé et prochaines étapes
Pré requis
- Une compréhension du comportement des agents IA et des interactions avec les modèles
- Une expérience en débogage ou en test de systèmes logiciels complexes
- Une familiarité avec les outils d'observabilité ou de journalisation
Public cible
- Ingénieurs QA
- Ingénieurs en fiabilité des IA
- Développeurs responsables de la qualité et des performances des agents
21 Heures