Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction à la qualité et à l'observabilité dans WrenAI
- Pourquoi l'observabilité est cruciale dans les analyses alimentées par l'IA.
- Défis de l'évaluation NL vers SQL.
- Frameworks pour la surveillance de la qualité.
Évaluation de l'exactitude NL vers SQL
- Définir les critères de succès pour les requêtes générées.
- Établir des références et des ensembles de données de test.
- Automatiser les pipelines d'évaluation.
Techniques d'ajustement des prompts
- Optimiser les prompts pour l'exactitude et l'efficacité.
- Adaptation du domaine par l'ajustement.
- Gestion des bibliothèques de prompts pour l'utilisation en entreprise.
Suivi de la dérive et de la fiabilité des requêtes
- Comprendre la dérive des requêtes en production.
- Surveiller l'évolution du schéma et des données.
- Détecter les anomalies dans les requêtes des utilisateurs.
Instrumentation de l'historique des requêtes
- Journalisation et stockage de l'historique des requêtes.
- Utiliser l'historique pour les audits et le dépannage.
- Tirer parti des insights des requêtes pour les améliorations de performance.
Frameworks de surveillance et d'observabilité
- Intégration avec des outils de surveillance et des tableaux de bord.
- Métriques pour la fiabilité et l'exactitude.
- Processus d'alerte et de gestion des incidents.
Modèles d'implémentation en entreprise
- Mettre à l'échelle l'observabilité à travers les équipes.
- Équilibrer l'exactitude et les performances en production.
- Gouvernance et responsabilité des sorties de l'IA.
L'avenir de la qualité et de l'observabilité dans WrenAI
- Mécanismes d'autocorrection basés sur l'IA.
- Frameworks d'évaluation avancés.
- Fonctionnalités à venir pour l'observabilité en entreprise.
Résumé et prochaines étapes
Pré requis
- Une compréhension des pratiques de qualité et de fiabilité des données.
- Une expérience avec SQL et les workflows d'analyse.
- Une familiarité avec les outils de surveillance ou d'observabilité.
Public cible
- Ingénieurs en fiabilité des données.
- Responsables BI.
- Professionnels QA pour l'analyse.
14 Heures