Introducción a la CLI de evaluaciones de Microsoft 365 Copilot

La CLI de evaluaciones de Microsoft 365 Copilot (@microsoft/m365-copilot-eval), anteriormente denominada CLI de evaluaciones de agentes, le ayuda a probar, medir y mejorar la calidad de sus agentes con evaluaciones estructuradas e informes de resultados. La versión preliminar de CLI v2 también admite la evaluación de respuestas de Microsoft 365 Copilot que usan complementos.

Importante

Para los agentes declarativos implementados, comience con las herramientas de desarrollo de Work IQ para obtener un flujo de trabajo guiado. Work IQ Dev Tools administra la versión compatible de la CLI de evaluaciones de Microsoft 365 Copilot y la expone a través de wiqd agent eval. Use la guía independiente de la CLI de esta sección cuando necesite control de comandos de nivel inferior o mantenga un flujo de trabajo existente runevals .

Elija una versión de CLI

El nombre del paquete npm y runevals el comando no cambian.

Versión Etiqueta de NPM Alcance de la evaluación
v1 latest Agentes implementados. El inicio rápido cubre esta versión.
Versión preliminar V2 preview Agentes implementados y respuestas de Microsoft 365 Copilot que usan complementos. Necesario para evaluadores de llamadas de herramientas con esquema v2.

En la versión preliminar v2, una ejecución sin un identificador de agente configurado evalúa el chat de Microsoft 365 Copilot en lugar de seleccionar un agente. En el caso de las ejecuciones de complementos, aprovisione y habilite primero el complemento en Copilot, y quite M365_AGENT_ID un legado AGENT_ID de los archivos Shell y de entorno cargados. Esta configuración evalúa la experiencia de Copilot, no un punto de conexión de complemento de forma aislada.

Para obtener ejemplos de conjuntos de datos de instalación de vista previa y llamada de herramienta, consulte Evaluadores de llamada de herramienta.

Qué puede hacer

La herramienta de evaluación proporciona las siguientes funcionalidades:

  • Ejecutar evaluaciones por lotes e interactivas.
  • Califique automáticamente las respuestas mediante la evaluación en la nube y las métricas integradas de Microsoft Foundry.
  • Pruebe con conjuntos de datos JSON, mensajes en línea o entradas interactivas.
  • Generar informes en formatos HTML, JSON o CSV.

Métricas de evaluación

Los evaluadores de respuestas puntúan la calidad de la respuesta. Los evaluadores de llamadas a herramientas inspeccionan los diagnósticos en tiempo de ejecución en lugar del texto de respuesta.

Evaluador Tipo Escala Umbral predeterminado Default
Relevancia Basado en LLM 1-5 3 Sí
Coherencia Basado en LLM 1-5 3 Sí
Conexión a tierra Basado en LLM 1-5 3 No
Similitud Basado en LLM 1-5 3 No
RetrievalQuery No LLM Aprobado o suspenso N/D No
RetrievalResult No LLM Proporcional 1,0 No
ToolCallSelection (versión preliminar v2) No LLM Correcto/suspenso/error 1.0, corregido No
ToolCallExecution (versión preliminar v2) No LLM Correcto/suspenso/error 1.0, corregido No
Citas Basado en recuentos >= 0 1 No
Coincidencia exacta Coincidencia de cadena Booleano N/D No
Coincidencia parcial Coincidencia de cadena 0.0-1.0 0,5 No

Para obtener información detallada sobre cada evaluador, incluidas las opciones de configuración y los conjuntos de datos de muestra, consulte Referencia de evaluadores.

Cómo funciona el flujo de trabajo de evaluación

Las evaluaciones siguen un flujo de trabajo coherente:

  1. Instale y configure la CLI.
  2. Proporcione configuración y credenciales del entorno.
  3. Cree un conjunto de datos de solicitudes de prueba.
  4. Ejecutar evaluaciones en tu agente.
  5. Revise los resultados e itere.

Variables de entorno necesarias

La herramienta de evaluación usa variables de entorno para autenticar y conectarse a su inquilino y al proyecto de Microsoft Foundry. La configuración siguiente describe el flujo de trabajo de evaluación del agente v1. Las ejecuciones que usan solo evaluadores deterministas, incluidos los evaluadores de llamadas de herramienta en la versión preliminar v2, no requieren la configuración de puntuación de Microsoft Foundry.

Variable Descripción Valor predeterminado
TENANT_ID Id. del inquilino de Microsoft Entra donde se implementa el agente. Ninguno
AZURE_AI_PROJECT_ENDPOINT Punto de conexión del proyecto de Microsoft Foundry que se usa para la evaluación en la nube. Necesario para el juez de LLM de Microsoft Foundry, no para evaluadores deterministas. Ninguno
AZURE_AI_MODEL_NAME Nombre de implementación del modelo en el proyecto de Microsoft Foundry. gpt-5-mini
M365_TITLE_ID (opcional) Id. de título que se usa para detectar automáticamente el id. de agente de Microsoft 365 para la evaluación. Ninguno
M365_AGENT_ID (opcional) Identificador de agente explícito para la evaluación. Detectado automáticamente desde M365_TITLE_ID

Estos valores habilitan la autenticación y permiten que la herramienta ejecute la puntuación de evaluación basada en LLM mediante Microsoft Foundry. Para obtener más información sobre cómo obtener estos valores, consulte Obtener valores para variables de entorno.