Prenez contact avec nous

Plan du cours

Introduction et fondamentaux du diagnostic

  • Aperçu des modes de défaillance dans les systèmes LLM et des problèmes spécifiques à Ollama
  • Mise en place d'expériences reproductibles et d'environnements contrôlés
  • Boîte à outils de débogage : logs locaux, captures des requêtes/réponses et isolation dans des bac à sable

Reproduction et isolement des défaillances

  • Techniques pour créer des exemples minimaux en échec et des graines de test
  • Interactions étatfull vs étatless : isolement des bugs liés au contexte
  • Déterminisme, aléatoire et contrôle du comportement non déterministe

Évaluation comportementale et métriques

  • Métriques quantitatives : précision, variantes ROUGE/BLEU, calibration et proxies de perplexité
  • Évaluations qualitatives : scoring avec participation humaine et conception de grilles d'évaluation
  • Vérifications de fidélité spécifiques aux tâches et critères d'acceptation

Tests automatisés et régression

  • Tests unitaires pour les invites et les composants, tests de scénarios et de bout en bout
  • Création de suites de régression et de références d'exemples golden
  • Intégration CI/CD pour les mises à jour des modèles Ollama et les portes de validation automatisées

Observabilité et surveillance

  • Structuration des logs, traces distribuées et identifiants de corrélation
  • Métriques opérationnelles clés : latence, utilisation des jetons, taux d'erreur et signaux de qualité
  • Alerting, tableaux de bord et SLIs/SLOs pour les services basés sur des modèles

Analyse avancée des causes racines

  • Tracing à travers les invites graphées, les appels d'outils et les flux multi-tours
  • Diagnostic comparatif A/B et études d'ablation
  • Provenance des données, débogage des jeux de données et traitement des défaillances induites par les données

Sécurité, robustesse et stratégies de remédiation

  • Atténuations : filtrage, ancrage, enrichissement par récupération et scaffolding d'invites
  • Patterns de rollback, déploiement en canary et déploiements par phases pour les mises à jour des modèles
  • Post-mortems, enseignements tirés et boucles d'amélioration continue

Résumé et prochaines étapes

Pré requis

  • Expérience solide dans la conception et le déploiement d'applications LLM
  • Connaissance des workflows Ollama et de l'hébergement de modèles
  • Aisance avec Python, Docker et les outils de base d'observabilité

Public cible

  • Ingénieurs IA
  • Professionnels du MLOps
  • Équipes QA responsables des systèmes LLM en production
 35 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires