Prenez contact avec nous

Plan du cours

Introduction à la qualité et à l'observabilité dans WrenAI

  • Pourquoi l'observabilité est cruciale dans les analyses alimentées par l'IA.
  • Défis de l'évaluation NL vers SQL.
  • Frameworks pour la surveillance de la qualité.

Évaluation de l'exactitude NL vers SQL

  • Définir les critères de succès pour les requêtes générées.
  • Établir des références et des ensembles de données de test.
  • Automatiser les pipelines d'évaluation.

Techniques d'ajustement des prompts

  • Optimiser les prompts pour l'exactitude et l'efficacité.
  • Adaptation du domaine par l'ajustement.
  • Gestion des bibliothèques de prompts pour l'utilisation en entreprise.

Suivi de la dérive et de la fiabilité des requêtes

  • Comprendre la dérive des requêtes en production.
  • Surveiller l'évolution du schéma et des données.
  • Détecter les anomalies dans les requêtes des utilisateurs.

Instrumentation de l'historique des requêtes

  • Journalisation et stockage de l'historique des requêtes.
  • Utiliser l'historique pour les audits et le dépannage.
  • Tirer parti des insights des requêtes pour les améliorations de performance.

Frameworks de surveillance et d'observabilité

  • Intégration avec des outils de surveillance et des tableaux de bord.
  • Métriques pour la fiabilité et l'exactitude.
  • Processus d'alerte et de gestion des incidents.

Modèles d'implémentation en entreprise

  • Mettre à l'échelle l'observabilité à travers les équipes.
  • Équilibrer l'exactitude et les performances en production.
  • Gouvernance et responsabilité des sorties de l'IA.

L'avenir de la qualité et de l'observabilité dans WrenAI

  • Mécanismes d'autocorrection basés sur l'IA.
  • Frameworks d'évaluation avancés.
  • Fonctionnalités à venir pour l'observabilité en entreprise.

Résumé et prochaines étapes

Pré requis

  • Une compréhension des pratiques de qualité et de fiabilité des données.
  • Une expérience avec SQL et les workflows d'analyse.
  • Une familiarité avec les outils de surveillance ou d'observabilité.

Public cible

  • Ingénieurs en fiabilité des données.
  • Responsables BI.
  • Professionnels QA pour l'analyse.
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires