Configurar la evaluación humana para los agentes (versión preliminar)

En este artículo se explica cómo configurar la evaluación humana para el agente de Foundry. Como generador de agentes, se definen plantillas de preguntas de evaluación centradas en aspectos clave de interés. Los revisores humanos (compañeros, científicos de datos o miembros del equipo de cumplimiento) completan esas plantillas para cada respuesta del agente en la experiencia de versión preliminar del agente. Después de que los revisores envíen sus evaluaciones, puede ver y descargar los resultados directamente desde el portal de Foundry para su posterior análisis.

Requisitos previos

• Un proyecto Foundry con uno o varios agentes.

• Application Insights configurado para el proyecto.

• rol de Foundry Project Manager (o superior) en el proyecto de Foundry, para crear y gestionar plantillas de evaluación. Para obtener más información, consulte el control de acceso basado en roles en Microsoft Foundry.

  Importante

  Recientemente se cambió el nombre de los roles RBAC de Foundry. Foundry User, Foundry Owner, Foundry Account Owner y Foundry Project Manager se llamaban anteriormente Usuario de Azure AI, Propietario de Azure AI, Propietario de la cuenta de Azure AI y Administrador de proyectos de Azure AI. Es posible que siga viendo los nombres anteriores en algunos lugares mientras se implementa el cambio de nombre. El cambio de nombre no modifica los identificadores de rol y los permisos principales.

• Para los revisores humanos: rol de Usuario de Foundry (como mínimo) en el proyecto de Foundry y Lector en la cuenta, para acceder a la aplicación web en versión preliminar y enviar comentarios.

Creación de una plantilla de evaluación humana

Para comenzar la evaluación humana del agente de Foundry, defina una plantilla que contenga el conjunto de preguntas que desea que los revisores humanos se completen en función de las respuestas del agente.

1. Seleccione el agente que desea evaluar en la tabla del agente en la pestaña Agentes .

2. Vaya a la pestaña Evaluación humana en Evaluación.

3. Seleccione Crear nueva plantilla para iniciar el proceso de creación de plantillas.

4. En el menú emergente Crear plantilla de evaluación humana , asigne un nombre y una descripción, edite o elimine preguntas de ejemplo y agregue nuevas preguntas en función de los objetivos de evaluación. Los tipos de preguntas admitidos incluyen pulgares hacia arriba y abajo, control deslizante, opción múltiple y texto de forma libre.

   Sugerencia

   Preguntas de ejemplo por tipo:

   • Pulgares hacia arriba/abajo: "¿Fue esta respuesta precisa?"
   • Control deslizante (1–5): "Valore la utilidad de esta respuesta".
   • Opción múltiple: "¿Qué mejor describe esta respuesta? (Correcto/ Parcialmente correcto/ Incorrecto)"
   • Texto de forma libre: "¿Qué contexto adicional habría mejorado esta respuesta?"

5. Después de configurar la plantilla, seleccione Crear para finalizarla.

La nueva plantilla aparece en la tabla de plantillas con estado Inactivo . Actívelo antes de que los revisores empiecen a evaluar.

Administración de las plantillas de evaluación

Puede crear varias plantillas de evaluación en función de sus necesidades de evaluación. La tabla de plantillas permite editar, eliminar y establecer plantillas como activas o inactivas.

• Seleccione Editar en la tabla de plantillas para actualizar una plantilla. La plantilla se abre en una ventana emergente editable.
• Seleccione Eliminar para quitar una plantilla.

  Nota

  Una vez eliminado, no se puede recuperar la plantilla y sus resultados de evaluación asociados desde el portal.

• Para establecer una plantilla como activa, seleccione Establecer como activo en la tabla de plantillas. Solo se puede activar una plantilla en un momento dado. La activación de una nueva plantilla desactiva automáticamente la anterior. Seleccione Establecer como inactivo para dejar de capturar resultados de evaluación humana para la plantilla actual.

Llevar a cabo la evaluación humana

Después de configurar la plantilla de evaluación y establecerla como activa para el agente de destino, los revisores humanos pueden iniciar su evaluación a través de la aplicación web en versión preliminar. Esta aplicación web es una interfaz de chat basada en explorador que se inicia directamente desde el generador de agentes.

1. Seleccione Vista previa en la esquina superior derecha del generador de agentes para abrir el agente en una interfaz de chat basada en explorador.
2. Escriba la entrada y seleccione Enviar para desencadenar una ejecución del agente.
3. Una vez que el agente responda, seleccione el botón Comentarios para proporcionar evaluación humana para esa respuesta.
   • Aparece un panel lateral que muestra la plantilla de evaluación activa.
   • Los revisores pueden responder a algunas o todas las preguntas del formulario.
4. Seleccione Guardar para almacenar los datos de evaluación o Cancelar para descartarlos.
5. Para continuar evaluando respuestas adicionales, escriba una nueva entrada o vaya a respuestas anteriores.
   • Los revisores pueden omitir las evaluaciones de determinadas respuestas o enviar varias evaluaciones para la misma respuesta.

Los generadores de agentes pueden ver las evaluaciones guardadas para cada respuesta del agente en la sección Resultados de la evaluación.

Revisión de los resultados de la evaluación humana

Una vez que los revisores humanos completen sus evaluaciones, los generadores de agentes pueden obtener una vista previa y descargar los resultados para su posterior análisis a través del portal de Foundry.

1. Vaya a la tabla de plantillas en la pestaña Evaluación humana y seleccione la plantilla para la que desea revisar los resultados.
2. Todos los resultados de evaluación correspondientes aparecen en la sección Resultados de evaluación. Cada instancia se muestra con su marca de tiempo como referencia.
3. Seleccione una instancia de evaluación para ver su resumen JSON en la sección Salida JSON . El json incluye:
   • Marca de tiempo
   • Indicaciones del usuario
   • Respuesta del agente
   • Preguntas de la plantilla de evaluación
   • Respuestas del revisor
4. Para descargar todos los resultados de evaluación de una plantilla, seleccione Descargar resultados. Los resultados se exportan como un archivo CSV que contiene toda la información de la vista JSON para cada instancia de evaluación.

El CSV descargado contiene una fila por instancia de evaluación, con columnas para cada campo de la vista JSON.

Contenido relacionado

• Evaluación de los agentes de IA
• Visión general del seguimiento del agente
• Solución de problemas de evaluación y observabilidad