Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction au LLMOps
- LLMOps vs MLOps : défis uniques de l'exploitation des LLM.
- Cycle de vie des applications LLM : prompt, évaluation, déploiement, surveillance.
- Liste de vérification de la maturité opérationnelle pour les applications GenAI.
Gestion et versioning des prompts
- Systèmes de templating des prompts et injection de variables.
- Versioning sémantique des prompts avec tests de régression automatisés.
- Régistres de prompts et workflows collaboratifs.
Évaluation des LLM à grande échelle
- Dimensions d'évaluation : précision, pertinence, sécurité, ancrage factuel (groundedness).
- Métriques de type « LLM as a judge » et pipelines d'évaluation humaine.
- Cadres d'évaluation automatisés : RAGAS, DeepEval et évaluateurs personnalisés.
- Portes de qualité dans les déploiements CI/CD des LLM.
Garde-fous de sécurité et gouvernance du contenu
- Garde-fous d'entrée et de sortie : NeMo Guardrails et Guardrails AI.
- Détection des données personnelles (PII), filtrage de la toxicité et délimitation des sujets.
- Stratégies de défense contre les jailbreaks et les injections de prompts.
- Tests intrusifs (red-teaming) des applications LLM pour garantir la sécurité.
Observabilité et surveillance des LLM
- Télémétrie : consommation de tokens, latence, coûts et métriques de qualité.
- Détection de la dérive (drift) dans les sorties des LLM et les espaces d'embedding.
- Tracing au niveau de la session pour les conversations multi-tours avec agents.
- Tableaux de bord et alerting avec LangSmith, Arize et OpenTelemetry.
Passerelle IA et orchestration des modèles
- Routage multi-fournisseurs avec LiteLLM et Portkey.
- Stratégies de repli, logique de retry et disjoncteurs (circuit breakers).
- Sélection des modèles sensible aux coûts et équilibrage de charge.
- Limitation de débit, gestion des quotas et gouvernance des clés API.
Optimisation des performances
- Mise en cache sémantique avec les bases vectorielles et les stratégies de correspondance exacte.
- Application des sorties structurées par décontrainte (constrained decoding).
- Patterns de groupement (batching), de streaming et de concurrence.
- Optimisation de la latence à travers les fournisseurs de modèles.
Gouvernance, conformité et audit
- Historiques d'audit des LLM : journaux de prompts, journaux de réponses et traçabilité des décisions.
- Considérations sur la résidence des données et la confidentialité pour les APIs LLM.
- Politique-as-code pour l'utilisation des LLM au sein des organisations.
- Rédaction d'un guide opérationnel interne pour les LLM.
Pré requis
- Expérience dans la conception ou l'intégration d'applications basées sur les LLM.
- Maîtrise de Python et des APIs REST.
- Compréhension de base des concepts d'ingénierie des prompts (prompt engineering).
Audience cible
- Ingénieurs ML et praticiens du MLOps se spécialisant dans les opérations sur les LLM.
- Ingénieurs plateforme responsables de l'infrastructure des LLM.
- Chefs techniques gérant les déploiements GenAI en production.
14 Heures
Nos clients témoignent (2)
utilisation de prompts appropriés et efficaces
Marses Pacaldo
Formation - Generative AI and Prompt Engineering for Corporate Professionals
Traduction automatique
Le style interactif, les exercices
Tamas Tutuntzisz
Formation - Introduction to Prompt Engineering
Traduction automatique
