Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
L’interface de ligne de commande des évaluations de Microsoft 365 Copilot (@microsoft/m365-copilot-eval), anciennement nommée CLI Agent Evaluations, vous aide à tester, mesurer et améliorer la qualité de vos agents grâce à des évaluations structurées et des rapports de résultats. CLI v2 Preview prend également en charge l’évaluation des réponses Microsoft 365 Copilot qui utilisent des plug-ins.
Important
Pour les agents déclaratifs déployés, commencez avec les outils de développement Work IQ pour un flux de travail guidé. Work IQ Dev Tools gère la version CLI compatible de Microsoft 365 Copilot Evaluations et l’expose via wiqd agent eval. Utilisez les instructions CLI autonomes de cette section lorsque vous avez besoin d’un contrôle de commande de niveau inférieur ou de gérer un flux de travail existant runevals .
Choisir une version CLI
Le nom et runevals la commande du package npm restent inchangés.
| Version | balise npm | Portée de l’évaluation |
|---|---|---|
| v1 | latest |
Agents déployés. Le guide de démarrage rapide couvre cette version. |
| Aperçu de la v2 | preview |
Agents déployés et réponses Microsoft 365 Copilot qui utilisent des plug-ins. Obligatoire pour les évaluateurs d’appel d’outil avec le schéma v2. |
Dans la préversion v2, une exécution sans ID d’agent configuré évalue la conversation Microsoft 365 Copilot au lieu de sélectionner un agent. Pour les exécutions de plug-ins, configurez et activez d’abord le plug-in dans Copilot, puis supprimez M365_AGENT_ID et héritez AGENT_ID de votre shell et de vos fichiers d’environnement chargés. Cette configuration évalue l’expérience Copilot, et non un point de terminaison de plug-in isolé.
Pour obtenir des exemples d’installation en préversion et d’appel d’outil, consultez Évaluateurs d’appel d’outil.
Ce que vous pouvez faire
L’outil d’évaluation fournit les fonctionnalités suivantes :
- Exécutez des évaluations par lots et interactives.
- Noter automatiquement les réponses en utilisant l’évaluation cloud de Microsoft Foundry et les métriques intégrées.
- Testez à l’aide de jeux de données JSON, d’invites en ligne ou d’entrées interactives.
- Générez des rapports aux formats HTML, JSON ou CSV.
Métriques d’évaluation
Les évaluateurs de réponses évaluent la qualité des réponses. Les évaluateurs d’appel d’outil inspectent les diagnostics d’exécution plutôt que le texte de la réponse.
| Évaluateur | Type (Type) | Scale | Seuil par défaut | Par défaut |
|---|---|---|---|---|
| Pertinence | Basé sur le LLM | 1-5 | 3 | Oui |
| Cohérence | Basé sur le LLM | 1-5 | 3 | Oui |
| Ancrage | Basé sur le LLM | 1-5 | 3 | Non |
| Similitude | Basé sur le LLM | 1-5 | 3 | Non |
| RetrievalQuery | Sans LLM | Réussite/échec | N/A | Non |
| RetrievalResult | Sans LLM | Proportionnelle | 1,0 | Non |
| ToolCallSelection (v2 préversion) | Sans LLM | Réussite/échec/erreur | 1.0, corrigé | Non |
| ToolCallExecution (v2 preview) | Sans LLM | Réussite/échec/erreur | 1.0, corrigé | Non |
| Citations | Basé sur le nombre | >= 0 | 1 | Non |
| ExactMatch | Correspondance de chaîne | Booléen | N/A | Non |
| PartialMatch | Correspondance de chaîne | 0.0-1.0 | 0.5 | Non |
Pour plus d’informations sur chaque évaluateur, y compris les options de configuration et les ensembles de données échantillons, voir Référence des évaluateurs.
Fonctionnement du flux de travail d’évaluation
Les évaluations suivent un flux de travail cohérent :
- Installez et configurez l’interface de ligne de commande.
- Fournissez la configuration de l’environnement et les informations d’identification.
- Créez un jeu de données d’invites de test.
- Exécutez des évaluations sur votre agent.
- Passez en revue les résultats et itérer.
Variables d’environnement requises
L’outil d’évaluation utilise des variables d’environnement pour vous authentifier et vous connecter à votre client et à votre projet Microsoft Foundry. Les paramètres suivants décrivent le workflow d’évaluation de l’agent v1. Les exécutions qui utilisent uniquement des évaluateurs déterministes, y compris des évaluateurs d’appel d’outil en préversion v2, ne nécessitent pas de configuration de notation Microsoft Foundry.
| Variable | Description | Par défaut |
|---|---|---|
TENANT_ID |
ID de locataire Microsoft Entra dans lequel votre agent est déployé. | Aucun |
AZURE_AI_PROJECT_ENDPOINT |
Point de terminaison de projet Microsoft Foundry utilisé pour l’évaluation cloud. Obligatoire pour le juge Microsoft Foundry LLM, pas pour les évaluateurs déterministes. | Aucun |
AZURE_AI_MODEL_NAME |
Nom de déploiement du modèle dans votre projet Microsoft Foundry. | gpt-5-mini |
M365_TITLE_ID (facultatif) |
ID de titre utilisé pour détecter automatiquement l’ID de l’agent Microsoft 365 pour l’évaluation. | Aucun |
M365_AGENT_ID (facultatif) |
ID d’agent explicite pour l’évaluation. | Détecté automatiquement à partir de M365_TITLE_ID |
Ces valeurs activent l’authentification et permettent à l’outil d’exécuter une évaluation basée sur le LLM en utilisant Microsoft Foundry. Pour plus d’informations sur l’obtention de ces valeurs, consultez Obtenir des valeurs pour les variables d’environnement.
Contenu associé
- Vérifier l’intégration et la qualité pendant le développement du plugin
- Démarrage rapide : Utiliser l’interface de ligne de commande des évaluations de Microsoft 365 Copilot
- Conception de schéma et de test de jeu de données
- Référence des évaluateurs
- Évaluateurs d’appels d’outils (v2 préversion)
- Référence CLI
- Résolution des problèmes et assistance