Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 21 heures
Plan du cours
Fondamentaux du débogage et de l'évaluation avec Mastra
- Compréhension des modèles de comportement des agents et des modes de défaillance
- Principes fondamentaux du débogage au sein de Mastra
- Évaluation des actions des agents déterministes et non déterministes
Mise en place d'environnements pour le test des agents
- Configuration de boîtes à sable de test et d'espaces d'évaluation isolés
- Capture des journaux, des traces et de la télémétrie pour une analyse détaillée
- Préparation des jeux de données et des prompts pour un test structuré
Débogage du comportement des agents IA
- Suivi des chemins de décision et des signaux de raisonnement interne
- Identification des hallucinations, des erreurs et des comportements non intentionnels
- Utilisation des tableaux de bord d'observabilité pour l'investigation des causes premières
Métriques d'évaluation et cadres de benchmarking
- Définition de métriques d'évaluation quantitatives et qualitatives
- Mesure de la précision, de la cohérence et de la conformité contextuelle
- Application de jeux de données de référence pour une évaluation reproductible
Ingénierie de la fiabilité pour les agents IA
- Conception de tests de fiabilité pour les agents de longue durée
- Détection de la dérive et de la dégradation des performances des agents
- Mise en œuvre de dispositifs de protection pour les flux de travail critiques
Processus d'assurance qualité et automatisation
- Construction de pipelines d'assurance qualité pour une évaluation continue
- Automatisation des tests de régression pour les mises à jour des agents
- Intégration de l'assurance qualité avec les flux CI/CD et d'entreprise
Techniques avancées pour la réduction des hallucinations
- Stratégies de promptage pour réduire les sorties indésirables
- Boucles de validation et mécanismes d'autovérification
- Expérimentation avec des combinaisons de modèles pour améliorer la fiabilité
Rapport, surveillance et amélioration continue
- Élaboration de rapports d'assurance qualité et de fiches de score des agents
- Surveillance du comportement à long terme et des schémas d'erreurs
- Itération sur les cadres d'évaluation pour les systèmes évolutifs
Synthèse et prochaines étapes
Pré requis
- Une compréhension du comportement des agents IA et des interactions avec les modèles
- Une expérience en débogage ou en test de systèmes logiciels complexes
- Une familiarité avec les outils d'observabilité ou de journalisation
Public cible
- Ingénieurs en assurance qualité
- Ingénieurs en fiabilité IA
- Développeurs responsables de la qualité et des performances des agents
