Evalúa a un agente (Conversación con el cliente) (vista previa)

[Este artículo es documentación preliminar y está sujeto a modificaciones].

Utiliza la pestaña Evaluar para medir el rendimiento de tu agente en un lote de preguntas o conversaciones antes de publicarlo.

Resumen de la pestaña "Evaluar"

Cuando abres la pestaña Evaluar por primera vez, muestra un estado vacío: Evalúa el rendimiento de tu agente con un botón Crear un conjunto de pruebas . Después de crear uno o más conjuntos de prueba, la pestaña muestra en su lugar una tabla de conjuntos de evaluación con las columnas Nombre, Estado de la ejecución, Métodos de prueba y Última ejecución por, además de un botón Nueva evaluación.

Crear un conjunto de prueba

  1. En la pestaña Evaluar, selecciona Crear un conjunto de pruebas (o Nueva evaluación si ya tienes conjuntos de prueba).

  2. Elige un tipo de datos:

    • Respuesta única: Comprueba cómo responde el agente a una pregunta concreta. Es ideal para pruebas específicas de capacidades.
    • Conversación (vista previa): Comprueba la calidad de las interacciones más largas de los agentes con los usuarios. Lo mejor para evaluaciones generales.

  3. Elige una fuente de datos:

    • Sube un archivo CSV: Arrastra un archivo CSV al área de subida o haz clic en Examinar. Utiliza la plantilla CSV proporcionada para asegurarte de que el contenido y el formato del archivo son correctos. El tamaño máximo del archivo es de 5 MB.
    • Conjunto rápido de preguntas: Genera 10 preguntas basadas en la descripción, instrucciones y capacidades de tu agente.
    • Conjunto completo de preguntas: Genera hasta 100 preguntas, usando conocimientos o temas como referencia.
    • Utiliza tu conversación de chat de prueba: Recopila las aportaciones y respuestas de tu sesión manual actual de pruebas. (Aparece como desactivado/no disponible en la captura confirmada; verifica cuándo esté disponible.)
    • O, escribe tú mismo algunas preguntas: Añade manualmente preguntas y, opcionalmente, las respuestas esperadas.

  4. Revisa tu lista de casos de prueba. Usa Añadir preguntas para añadir más, ya sea seleccionando Generar 10 preguntas o Escribir para añadir una manualmente.

Configurar el conjunto de pruebas

En el panel Configurar conjunto de pruebas:

  • Tipo de dato: Muestra el tipo de dato que seleccionaste (por ejemplo, respuesta única).
  • Nombre: Nombre obligatorio para el conjunto de pruebas.
  • Método de prueba: El criterio utilizado para comprobar los datos. Selecciona hasta cinco métodos. Seleccione Añadir método de prueba para abrir el cuadro de diálogo Seleccione un método de prueba , que ofrece:
    • Calidad general: Las respuestas cumplen con estándares de calidad, como relevancia y completitud. No coincide con las respuestas esperadas.
    • Comparar significado: Las respuestas tienen el mismo significado que la respuesta esperada, aunque estén redactadas de forma diferente.
    • Personalizado: Comprueba y etiqueta las respuestas del agente según las instrucciones que definas.
    • Coincidencia de palabras clave: Busca palabras y frases que coincidan.
    • Similitud textual: Mide lo cerca que está el texto de la respuesta de un agente de la respuesta esperada. Este método podría pasar por alto diferencias de significado.
    • Coincidencia exacta: Las respuestas del agente deben coincidir completamente con la respuesta esperada.
  • Versión del agente: Elige si evaluar el borrador actual o el agente publicado (por ejemplo, borrador actual).
  • Perfil de usuario: Selecciona Gestionar para abrir el cuadro de diálogo Gestionar perfil y conexiones, donde seleccionas o añades una cuenta autenticada. Activar Usa estos ajustes para todas mis evaluaciones y así reutilizar el perfil para futuros conjuntos de prueba. Recomendamos usar un perfil autenticado con todas las conexiones necesarias para que la evaluación pueda poner a prueba todas las capacidades de los agentes.

Visualización de resultados

Después de hacer una evaluación, revisa los resultados para ver cómo ha actuado tu agente. Revisar los resultados de la evaluación de un agente impulsado por el harness Customer Conversation es similar a revisar resultados para un agente impulsado por el harness estándar. Para saber más, consulta ejecutar evaluaciones y consultar los resultados.

  • Se actualizó por última vez el