Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
[Cet article fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]
L’onglet Évaluer dans la nouvelle expérience assistant propose des tests structurés et répétables pour votre assistant. Utilisez des évaluations pour mesurer la qualité de l’agent à travers les cas de test, suivre les progrès dans le temps et valider le comportement de votre agent avant de le publier.
Important
- Il s’agit d’une fonctionnalité en version préliminaire prête pour la production.
- Les versions préliminaires prêtes pour la production sont soumises à des conditions d’utilisation supplémentaires.
Qu’est-ce que l’évaluation des agents ?
L’évaluation d’un assistant vous permet de tester systématiquement les réponses de votre assistant par rapport aux normes de qualité. Au lieu de tester chaque scénario manuellement dans l’onglet Aperçu , créez des évaluations avec des conversations de test, définissez comment mesurer les réponses, et effectuez les évaluations pour obtenir des résultats quantitatifs.
L’évaluation vous aide à répondre à des questions comme celles-ci :
- L’assistant répond-il correctement dans l’ensemble des scénarios attendus ?
- Un changement de configuration a-t-il amélioré ou dégradé la qualité des réponses ?
- L’assistant appelle-t-il les outils quand il le faudrait ?
Concepts clés
Les concepts suivants sont clés lors de l’exécution des évaluations dans Copilot Studio :
Conversations
Une conversation est un cas test qui représente un scénario que vous souhaitez que votre assistant gère. Chaque conversation inclut des messages utilisateur et éventuellement des réponses attendues de l’assistant. Regroupez les conversations en évaluations. Créez des conversations manuellement, générez-les avec l’IA ou téléchargez-les depuis un fichier CSV.
Evaluations
Une évaluation est un jeu de tests nommé qui combine des conversations avec une méthode de test. Vous créez des évaluations depuis l’onglet Évaluer, vous y ajoutez des conversations, puis vous exécutez les évaluations pour obtenir des résultats notés.
Méthodes de test
Les méthodes de test définissent la manière dont les réponses de l’assistant sont notées. Actuellement, la seule méthode de test disponible est la qualité générale, une évaluation basée sur l’IA pour déterminer si les réponses respectent les normes de qualité, telles que la pertinence et l’exhaustivité.
Remarque
La méthode générale de test de qualité ne compare pas les réponses aux réponses attendues.
Profil utilisateur
Les évaluations et connexions utilisées par les outils exécutés avec le profil de l’utilisateur actuellement connecté. Vous ne pouvez pas vous connecter avec un autre utilisateur pendant que vous êtes connecté. Pour lancer une évaluation en tant qu’utilisateur différent, déconnectez-vous, connectez-vous avec le compte de cet utilisateur, puis lancez l’évaluation.
Utilisation du crédit
Évaluez les surfaces estimées de l’utilisation des crédits Copilot tout au long du processus de test, afin de comprendre le coût de la qualité des tests avant d’exécuter des suites de tests plus importantes. Vous pouvez voir quelles expériences utilisent les crédits, un total estimé pour chaque exécution d’évaluation, une répartition entre la génération et la notation des réponses, ainsi que l’utilisation des crédits au niveau du cas de test individuel. En savoir plus dans Comprendre l’utilisation estimée du crédit.
Workflow d’évaluation
Suivez ces étapes pour évaluer un agent :
- Créez une évaluation : sur l’onglet Évaluer, commencez une nouvelle évaluation. En savoir plus dans Créer un ensemble de tests pour un agent.
- Ajouter des conversations : ajoutez des conversations de test en les écrivant manuellement, en les générant avec l’IA ou en chargeant un fichier CSV.
- Configurer : Nommez l’évaluation, sélectionnez une méthode de test, puis sélectionnez la version de l’agent.
- Lancez l’évaluation : sélectionnez Évaluer pour effectuer le test et attendez les résultats. En savoir plus dans Lancer une évaluation pour un agent.
- Vérifiez les résultats : analysez les scores et identifiez les points à améliorer. En savoir plus dans Voir les résultats d’évaluation d’un agent.
- Itère : Ajustez les instructions, connaissances ou outils de votre agent, puis relancez l’évaluation pour mesurer l’impact.
Limitations
Les évaluations ne prennent en charge que les agents configurés pour utiliser Aucune authentification ou Authentifier avec Microsoft. Les assistants configurés sur S’authentifier manuellement ne sont pas pris en charge.