Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction et fondamentaux du diagnostic
- Aperçu des modes de défaillance dans les systèmes LLM et des problèmes spécifiques à Ollama
- Mise en place d'expériences reproductibles et d'environnements contrôlés
- Boîte à outils de débogage : logs locaux, captures des requêtes/réponses et isolation dans des bac à sable
Reproduction et isolement des défaillances
- Techniques pour créer des exemples minimaux en échec et des graines de test
- Interactions étatfull vs étatless : isolement des bugs liés au contexte
- Déterminisme, aléatoire et contrôle du comportement non déterministe
Évaluation comportementale et métriques
- Métriques quantitatives : précision, variantes ROUGE/BLEU, calibration et proxies de perplexité
- Évaluations qualitatives : scoring avec participation humaine et conception de grilles d'évaluation
- Vérifications de fidélité spécifiques aux tâches et critères d'acceptation
Tests automatisés et régression
- Tests unitaires pour les invites et les composants, tests de scénarios et de bout en bout
- Création de suites de régression et de références d'exemples golden
- Intégration CI/CD pour les mises à jour des modèles Ollama et les portes de validation automatisées
Observabilité et surveillance
- Structuration des logs, traces distribuées et identifiants de corrélation
- Métriques opérationnelles clés : latence, utilisation des jetons, taux d'erreur et signaux de qualité
- Alerting, tableaux de bord et SLIs/SLOs pour les services basés sur des modèles
Analyse avancée des causes racines
- Tracing à travers les invites graphées, les appels d'outils et les flux multi-tours
- Diagnostic comparatif A/B et études d'ablation
- Provenance des données, débogage des jeux de données et traitement des défaillances induites par les données
Sécurité, robustesse et stratégies de remédiation
- Atténuations : filtrage, ancrage, enrichissement par récupération et scaffolding d'invites
- Patterns de rollback, déploiement en canary et déploiements par phases pour les mises à jour des modèles
- Post-mortems, enseignements tirés et boucles d'amélioration continue
Résumé et prochaines étapes
Pré requis
- Expérience solide dans la conception et le déploiement d'applications LLM
- Connaissance des workflows Ollama et de l'hébergement de modèles
- Aisance avec Python, Docker et les outils de base d'observabilité
Public cible
- Ingénieurs IA
- Professionnels du MLOps
- Équipes QA responsables des systèmes LLM en production
35 Heures