Prenez contact avec nous

Plan du cours

Fondements du débogage et de l'évaluation avec Mastra

  • Comprendre les modèles de comportement des agents et les modes de défaillance
  • Principes fondamentaux du débogage au sein de Mastra
  • Évaluation des actions des agents déterministes et non déterministes

Mise en place d'environnements pour les tests d'agents

  • Configuration de bac à sable de test et d'espaces d'évaluation isolés
  • Capture des journaux, des traces et de la télémétrie pour une analyse détaillée
  • Préparation des jeux de données et des invites pour les tests structurés

Débogage du comportement des agents IA

  • Traçage des chemins de décision et des signaux de raisonnement internes
  • Identification des hallucinations, des erreurs et des comportements indésirables
  • Utilisation des tableaux de bord d'observabilité pour l'investigation des causes racines

Métriques d'évaluation et cadres de référence

  • Définition des métriques d'évaluation quantitatives et qualitatives
  • Mesure de la précision, de la cohérence et de la conformité contextuelle
  • Application de jeux de données de référence pour une évaluation répétable

Ingénierie de la fiabilité pour les agents IA

  • Conception de tests de fiabilité pour les agents à longue exécution
  • Détection de la dérive et de la dégradation des performances des agents
  • Mise en place de garde-fous pour les workflows critiques

Processus d'assurance qualité et automatisation

  • Création de pipelines QA pour l'évaluation continue
  • Automatisation des tests de régression pour les mises à jour des agents
  • Intégration de la QA avec les workflows CI/CD et d'entreprise

Techniques avancées pour la réduction des hallucinations

  • Stratégies d'invites pour réduire les sorties indésirables
  • Boucles de validation et mécanismes d'auto-vérification
  • Expérimentation avec des combinaisons de modèles pour améliorer la fiabilité

Rapports, surveillance et amélioration continue

  • Développement de rapports QA et de tableaux de bord pour les agents
  • Surveillance du comportement à long terme et des schémas d'erreurs
  • Itération sur les cadres d'évaluation pour les systèmes évolutifs

Résumé et prochaines étapes

Pré requis

  • Une compréhension du comportement des agents IA et des interactions avec les modèles
  • Une expérience en débogage ou en test de systèmes logiciels complexes
  • Une familiarité avec les outils d'observabilité ou de journalisation

Public cible

  • Ingénieurs QA
  • Ingénieurs en fiabilité des IA
  • Développeurs responsables de la qualité et des performances des agents
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires