Vue d’ensemble de CLI des évaluations de Microsoft 365 Copilot

L’interface de ligne de commande des évaluations de Microsoft 365 Copilot (@microsoft/m365-copilot-eval), anciennement nommée CLI Agent Evaluations, vous aide à tester, mesurer et améliorer la qualité de vos agents grâce à des évaluations structurées et des rapports de résultats. CLI v2 Preview prend également en charge l’évaluation des réponses Microsoft 365 Copilot qui utilisent des plug-ins.

Important

Pour les agents déclaratifs déployés, commencez avec les outils de développement Work IQ pour un flux de travail guidé. Work IQ Dev Tools gère la version CLI compatible de Microsoft 365 Copilot Evaluations et l’expose via wiqd agent eval. Utilisez les instructions CLI autonomes de cette section lorsque vous avez besoin d’un contrôle de commande de niveau inférieur ou de gérer un flux de travail existant runevals .

Choisir une version CLI

Le nom et runevals la commande du package npm restent inchangés.

Version balise npm Portée de l’évaluation
v1 latest Agents déployés. Le guide de démarrage rapide couvre cette version.
Aperçu de la v2 preview Agents déployés et réponses Microsoft 365 Copilot qui utilisent des plug-ins. Obligatoire pour les évaluateurs d’appel d’outil avec le schéma v2.

Dans la préversion v2, une exécution sans ID d’agent configuré évalue la conversation Microsoft 365 Copilot au lieu de sélectionner un agent. Pour les exécutions de plug-ins, configurez et activez d’abord le plug-in dans Copilot, puis supprimez M365_AGENT_ID et héritez AGENT_ID de votre shell et de vos fichiers d’environnement chargés. Cette configuration évalue l’expérience Copilot, et non un point de terminaison de plug-in isolé.

Pour obtenir des exemples d’installation en préversion et d’appel d’outil, consultez Évaluateurs d’appel d’outil.

Ce que vous pouvez faire

L’outil d’évaluation fournit les fonctionnalités suivantes :

  • Exécutez des évaluations par lots et interactives.
  • Noter automatiquement les réponses en utilisant l’évaluation cloud de Microsoft Foundry et les métriques intégrées.
  • Testez à l’aide de jeux de données JSON, d’invites en ligne ou d’entrées interactives.
  • Générez des rapports aux formats HTML, JSON ou CSV.

Métriques d’évaluation

Les évaluateurs de réponses évaluent la qualité des réponses. Les évaluateurs d’appel d’outil inspectent les diagnostics d’exécution plutôt que le texte de la réponse.

Évaluateur Type (Type) Scale Seuil par défaut Par défaut
Pertinence Basé sur le LLM 1-5 3 Oui
Cohérence Basé sur le LLM 1-5 3 Oui
Ancrage Basé sur le LLM 1-5 3 Non
Similitude Basé sur le LLM 1-5 3 Non
RetrievalQuery Sans LLM Réussite/échec N/A Non
RetrievalResult Sans LLM Proportionnelle 1,0 Non
ToolCallSelection (v2 préversion) Sans LLM Réussite/échec/erreur 1.0, corrigé Non
ToolCallExecution (v2 preview) Sans LLM Réussite/échec/erreur 1.0, corrigé Non
Citations Basé sur le nombre >= 0 1 Non
ExactMatch Correspondance de chaîne Booléen N/A Non
PartialMatch Correspondance de chaîne 0.0-1.0 0.5 Non

Pour plus d’informations sur chaque évaluateur, y compris les options de configuration et les ensembles de données échantillons, voir Référence des évaluateurs.

Fonctionnement du flux de travail d’évaluation

Les évaluations suivent un flux de travail cohérent :

  1. Installez et configurez l’interface de ligne de commande.
  2. Fournissez la configuration de l’environnement et les informations d’identification.
  3. Créez un jeu de données d’invites de test.
  4. Exécutez des évaluations sur votre agent.
  5. Passez en revue les résultats et itérer.

Variables d’environnement requises

L’outil d’évaluation utilise des variables d’environnement pour vous authentifier et vous connecter à votre client et à votre projet Microsoft Foundry. Les paramètres suivants décrivent le workflow d’évaluation de l’agent v1. Les exécutions qui utilisent uniquement des évaluateurs déterministes, y compris des évaluateurs d’appel d’outil en préversion v2, ne nécessitent pas de configuration de notation Microsoft Foundry.

Variable Description Par défaut
TENANT_ID ID de locataire Microsoft Entra dans lequel votre agent est déployé. Aucun
AZURE_AI_PROJECT_ENDPOINT Point de terminaison de projet Microsoft Foundry utilisé pour l’évaluation cloud. Obligatoire pour le juge Microsoft Foundry LLM, pas pour les évaluateurs déterministes. Aucun
AZURE_AI_MODEL_NAME Nom de déploiement du modèle dans votre projet Microsoft Foundry. gpt-5-mini
M365_TITLE_ID (facultatif) ID de titre utilisé pour détecter automatiquement l’ID de l’agent Microsoft 365 pour l’évaluation. Aucun
M365_AGENT_ID (facultatif) ID d’agent explicite pour l’évaluation. Détecté automatiquement à partir de M365_TITLE_ID

Ces valeurs activent l’authentification et permettent à l’outil d’exécuter une évaluation basée sur le LLM en utilisant Microsoft Foundry. Pour plus d’informations sur l’obtention de ces valeurs, consultez Obtenir des valeurs pour les variables d’environnement.