Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
La evaluación le ayuda a medir la calidad, la seguridad y la confiabilidad de los modelos y agentes a lo largo del desarrollo y la producción. En Microsoft Foundry, puede evaluar las salidas existentes en un conjunto de datos de prueba, generar respuestas de un modelo o agente mediante entradas de prueba o evaluar seguimientos de producción.
Una evaluación aplica uno o varios evaluadores a tus datos o a tu aplicación. Los evaluadores generan métricas y, cuando se admiten, explicaciones que le ayudan a comparar versiones, encontrar problemas de calidad y decidir si una aplicación está lista para implementarse.
Crea un flujo de trabajo de evaluación
La mayoría de los flujos de trabajo de evaluación siguen estos pasos:
- Elija lo que se va a evaluar. Seleccione un turno individual o una conversación completa y use un conjunto de datos existente, respuestas generadas, conversaciones simuladas o seguimientos de producción.
- Seleccione evaluadores. Elija las métricas de calidad y seguridad que importan para la aplicación, como la finalización de tareas, la relevancia, la fundamentación, la similitud o la seguridad del contenido.
- Ejecute la evaluación. Ejecútelo una vez durante el desarrollo, agréguelo a CI/CD o configure la evaluación periódica para producción.
- Revisar y mejorar. Analice las métricas agregadas y los resultados individuales, compare las versiones y solucione los patrones de fallos recurrentes.
Elige por dónde empezar
Note
Antes de empezar, revise los permisos para los flujos de trabajo de evaluación, las regiones admitidas y los límites de velocidad y los requisitos de red virtual.
Elección de un enfoque de evaluación
Elija la unidad de evaluación antes de seleccionar evaluadores. La evaluación de nivel de turno puntúa las respuestas individuales. La evaluación de nivel de conversación puntúa una interacción completa de varios turnos y puede medir los resultados, como la finalización de tareas en varios pasos. Los evaluadores admiten niveles de evaluación específicos.
| Quiero: | Comience aquí |
|---|---|
| Evaluar un agente hospedado por primera vez | Inicio rápido: Evaluación del agente hospedado |
| Evaluar datos de prueba de consultas y respuestas existentes | Evaluación de conjuntos de datos de consulta-respuesta |
| Generación y evaluación de respuestas a partir de entradas de prueba | Evaluación de respuestas de modelo y agente |
| Evaluar interacciones individuales capturadas desde un modelo o agente implementado | Evaluar las interacciones implementadas |
| Evaluar un conjunto de datos de conversaciones completas | Evaluación de conjuntos de datos de conversación |
| Evalúe conversaciones completas capturadas en trazas de producción | Evaluar conversaciones implementadas |
| Simular el comportamiento de un agente en varios turnos antes del despliegue | Simular conversaciones de agente |
| Generar escenarios y conversaciones sin tener que crear manualmente los datos de prueba | Generar y evaluar conversaciones sintéticas |
| Ejecutar pruebas de seguridad y protección contra ataques adversarios | Más información sobre el red teaming con IA |
Elegir cómo ejecutar evaluaciones
| Quiero: | Comience aquí |
|---|---|
| Ejecutar una evaluación en el portal de Foundry | Ejecución de evaluaciones desde el portal de Microsoft Foundry |
| Ejecutar evaluaciones mediante programación | Introducción a la evaluación en la nube con el SDK de Microsoft Foundry |
| Ejecutar evaluaciones del agente desde la línea de comandos | Ejecuta evaluaciones de agentes con la CLI de azd |
| Evalúe el tráfico de producción de forma periódica | Supervise a los agentes y configure la evaluación continua |
| Añadir evaluaciones a una canalización de implementación | Ejecutar evaluaciones en Acciones de GitHub o Azure DevOps |
Encuentre los componentes que necesita
- Evaluadores: Comience con los evaluadores integrados o cree un evaluador personalizado para sus propios criterios.
- Datos de evaluación: Obtenga información sobre cuándo usar un conjunto de datos de evaluación, cómo generar datos sintéticos o cómo crear un conjunto de datos a partir de seguimientos de producción.
- Resultados:Revise los resultados en el portal de Foundry, recupere los resultados de la evaluación en la nube con el SDK o use el análisis de clústeres para encontrar patrones de error comunes.