Evaluar conversaciones de varios turnos

Los usuarios reales no interactúan con los agentes a través de intercambios aislados de una sola pregunta. En cambio, participan en conversaciones que incluyen preguntas de seguimiento, intercambio de información incremental y finalización de tareas en varios pasos.

La evaluación de varios turnos ayuda a garantizar que su agente pueda mantener el contexto, completar tareas en varios pasos y responder adecuadamente a lo largo de un flujo de conversación realista.

Cuándo usar la evaluación de varios turnos

Use la evaluación en varios turnos al probar escenarios que requieran retención de contexto o varios pasos para completar una tarea.

Escenario Por qué se necesita la multivuelta
Relleno de ranuras El agente debe recopilar múltiples piezas de información.
Flujos de aclaración El agente debe resolver la entrada ambigua del usuario.
Tareas de varios pasos La tarea requiere múltiples intercambios para completarse.
Seguimientos dependientes del contexto Las preguntas posteriores dependen de las respuestas anteriores.
Divulgación progresiva La información se proporciona de forma incremental.

Evaluación de una vuelta frente a varias vueltas

Comience con evaluaciones de un solo turno para la cobertura, luego agregue evaluaciones de varios turnos para probar interacciones realistas.

Aspecto De una vuelta Multivuelta
Pruebas Pares individuales de pregunta y respuesta Completa conversaciones
Contexto Cada indicación es independiente Los turnos se compilan unos sobre otros
Complejidad Más fácil de diseñar y evaluar Más realista pero complejo
Diagnóstico de fallas Problemas más fáciles de aislar Requiere un análisis paso a paso
Caso de uso Probar respuestas específicas Prueba del flujo de conversación

Métricas clave para la evaluación de varios turnos

La evaluación de múltiples turnos requiere métricas adicionales más allá de la precisión de un solo turno. Estas métricas evalúan el rendimiento del agente en toda una conversación.

Integridad de la conversación

La integridad de la conversación mide si el agente logra el objetivo del usuario al final de la interacción.

Ejemplo correcto

Turno 1

  • Usuario: "Tengo que pedir un portátil"
  • Agente: "Puedo ayudar con eso. ¿Qué tipo de portátil necesitas?"

Turno 2

  • Usuario: "MacBook Pro"
  • Agente: "¿Qué tamaño de pantalla: 14 pulgadas o 16 pulgadas?"

Turno 3

  • Usuario: "16 pulgadas"
  • Agente: "Envié su pedido de una MacBook Pro de 16 pulgadas. ID de pedido: ORD-456. Entrega prevista: 5-7 días hábiles."

✅ Se logra el objetivo del usuario (pedir una computadora portátil).

Ejemplo de error

Turno 1

  • Usuario: "Tengo que pedir un portátil"
  • Agente: "Puedo ayudar con eso. ¿Qué tipo de portátil necesitas?"

Turno 2

  • Usuario: "MacBook Pro"
  • Agente: "¡MacBook Pro es una excelente opción! ¿Hay algo más?"

❌ No se ha enviado el pedido y no se ha alcanzado el objetivo del usuario.

Retención de conocimientos

La retención de conocimiento mide si el agente recuerda y usa la información proporcionada en turnos anteriores.

Ejemplo correcto

Turno 1

  • Usuario: "Mi ID de empleado es EMP-12345"
  • Agente: "¡Gracias! ¿Cómo puedo ayudarte hoy?"

Turno 2

  • Usuario: "Quiero comprobar el saldo de mi toma de fuerza"
  • Agente: "Queda 12 días para el saldo actual del PTO".

✅ El agente usó la identificación de empleado proporcionada anteriormente sin volver a preguntar.

Ejemplo de error

Turno 1

  • Usuario: "Mi ID de empleado es EMP-12345"
  • Agente: "¡Gracias! ¿Cómo puedo ayudarte hoy?"

Turno 2

  • Usuario: "Quiero comprobar el saldo de mi toma de fuerza"
  • Agente: "Estaré encantado de ayudar. ¿Cuál es su identificación de empleado?"

❌ El agente olvidó la identificación del empleado del turno anterior.

Adherencia de roles

La adherencia de roles mide si el agente mantiene su ámbito y responsabilidades definidos a lo largo de la conversación.

Ejemplo correcto

Turno 1

  • Usuario: "¿Cuál es la política de PTO?"
  • Agente: proporciona la información correcta de la directiva de PTO

Turno 2

  • Usuario: "¿Puedes escribir un poema sobre las vacaciones?"
  • Agente: "Estoy aquí para ayudar con las preguntas de RR. HH. y de incorporación. ¿Hay algo más sobre PTO en lo que pueda ayudar?"

✅ El agente se mantuvo dentro de su función y se redirigió adecuadamente.

Ejemplo de error

Turno 1

  • Usuario: "¿Cuál es la política de PTO?"
  • Agente: proporciona la información correcta de la directiva de PTO

Turno 2

  • Usuario: "¿Puedes escribir un poema sobre las vacaciones?"
  • Agente: "¡Claro! Aquí hay un poema sobre playas soleadas..."

❌El agente se desvió de su papel como asistente de recursos humanos.

Relevancia de la conversación

La relevancia de la conversación mide si cada respuesta es directamente relevante para la solicitud del usuario dentro del contexto conversacional actual.

Ejemplo de error

Turno 1

  • Usuario: "¿Qué planes de salud están disponibles?"
  • Agente: Enumera las opciones HMO y PPO

Turno 2

  • Usuario: "¿Cuál es la diferencia de coste?"
  • Agente: "La PPO ofrece más flexibilidad para elegir médicos".

❌ La respuesta no responde a la pregunta del usuario sobre el costo.

Coherencia de contexto

La coherencia del contexto mide si el agente mantiene hechos e información coherentes en todos los turnos de la conversación.

Ejemplo de error

Turno 1

  • Usuario: "¿Cuántos días de vacaciones tengo?"
  • Agente: "Como empleado nuevo, recibe 15 días de PTO al año".

Turno 2

  • Usuario: "¿Y cuántos días de enfermedad?"
  • Agente: "Tienes 10 días de enfermedad, más tus 10 días de vacaciones".

❌ El agente contradice la información anterior al cambiar el número de días de vacaciones.

Diseñar casos de prueba multiturno

El diseño de evaluaciones efectivas de múltiples turnos requiere definir tanto el flujo de conversación como los comportamientos esperados. Un caso de prueba de varias vueltas suele incluir:

  • Id. y descripción del caso de prueba
  • Fundamentación de datos
  • Secuencia de conversación
  • Comportamientos esperados
  • Aserciones

Ejemplo: Pedido de equipo

  • Id. de caso de prueba: CONV-001
  • Descripción: Flujo de pedido de equipos

Fundamentación de datos

  • Empleada: Katrin Pold
  • ID de empleado: EMP-54321
  • Departamento: Diseño de Producto
  • Presupuesto: $3,500

Conversación

Turno 1

  • Usuario: "Necesito configurar mi portátil".
  • Comportamiento esperado: Pregunte sobre las preferencias.

Turno 2

  • Usuario: "MacBook Pro"
  • Comportamiento esperado: Consultar especificaciones.

Turno 3

  • Usuario: "16 pulgadas con 32 GB de RAM"
  • Comportamiento esperado: confirmar y enviar el pedido.

Turno 4

  • Usuario: "En realidad, cámbielo a 64 GB".
  • Comportamiento esperado: Actualizar el pedido.

Aserciones a nivel de conversación

  • La conversación se completa con un pedido de equipo confirmado.
  • El pedido final refleja la especificación corregida (64 GB).
  • El agente nunca solicita la identificación del empleado (debe inferir del contexto).
  • El total de turnos para completar es de ≤6.

Inserciones a nivel de turno

  • Turno 3:
    • El agente invoca la herramienta OrderEquipment.
    • La llamada de herramienta incluye el modelo: "MacBook Pro de 16 pulgadas".
    • La llamada a la herramienta incluye especificaciones que contienen "32 GB".
  • Turno 4:
    • El agente invoca UpdateOrder o modifica el orden anterior.
    • La confirmación final muestra "64 GB".

Ejemplo: conversación sobre llenar huecos

Escenario: Inscripción de beneficios (llenado de espacios)
Objetivo: recopilar toda la información necesaria y completar la inscripción

Entradas necesarias (ranuras):

  • Selección de planes (HMO o PPO)
  • Nivel de cobertura (individual o familiar)
  • Información dependiente (si procede)
  • Fecha de vigencia

Conversación

Turno 1
Usuario: "Quiero inscribirme en un seguro de salud".
Agente:

  • Acusar recibo de la solicitud
  • Solicita la preferencia del plan (HMO vs. PPO)

Turno 2
Usuario: "¿Cuál es la diferencia?"
Agente:

  • Explica las diferencias clave entre HMO y PPO
  • Se vuelve a solicitar la selección del plan

Turno 3
Usuario: "Iré con el PPO".
Agente:

  • Confirma la selección
  • Pregunta por el nivel de cobertura (individual o familiar)

Turno 4
Usuario: "Cobertura familiar. Tengo un cónyuge y dos hijos".
Agente:

  • Confirma escenario dependiente
  • Detalles dependientes de las solicitudes (nombres, edades, etc.)

Turno 5
Usuario: [Proporciona información dependiente]
Agente:

  • Confirma toda la información recopilada
  • Envía la inscripción
  • Proporciona un resumen de confirmación

Aserciones:

  • Todos los espacios necesarios se recopilan antes del envío.
  • El agente no omite las entradas necesarias.
  • El agente explica las opciones cuando se le solicita.
  • La confirmación final incluye todos los detalles capturados.
  • La tarea se completa con éxito sin turnos innecesarios.

Ejemplo: conversación aclaratoria

Escenario: Solicitud ambigua (aclaración)
Objetivo: Resolver la ambigüedad reuniendo suficiente contexto antes de responder

Conversación

Turno 1
Usuario: "Necesito tomarme un tiempo libre".
Agente:

  • Acusar recibo de la solicitud
  • Pregunta qué tipo de tiempo libre (PTO, licencia por enfermedad, licencia personal)

Turno 2
Usuario: "Es para un procedimiento médico".
Agente:

  • Identifica la categoría probable
  • Se pregunta si la solicitud es para el usuario o un miembro de la familia

Turno 3
Usuario: "Es para mí. Es una cirugía menor".
Agente:

  • Determina que es probable que se trate de una baja por enfermedad.
  • Proporciona información relevante sobre directivas
  • Pregunta sobre la duración esperada

Turno 4
Usuario: "Alrededor de una semana".
Agente:

  • Confirma la elegibilidad y procesa
  • Indica los pasos siguientes (por ejemplo, cómo solicitar la licencia)
  • Ofrece iniciar la solicitud si corresponde

Aserciones:

  • El agente no asume la intención de la solicitud ambigua inicial.
  • Las preguntas aclaratorias son relevantes y reducen progresivamente el alcance.
  • La respuesta final refleja la situación real del usuario.
  • El agente pasa de la aclaración a la resolución de manera efectiva.

Ejemplo: conversación de recuperación de errores

Escenario: Error de pedido y recuperación
Objetivo: Manejar los fallos de forma transparente y guiar al usuario hacia un resultado exitoso

Conversación:

Turno 1
Usuario: "Pídeme un MacBook Pro de 16 pulgadas".
Agente:

  • Intentos de enviar el pedido

Respuesta del sistema/herramienta:

  • Error: Artículo agotado

Agente:

  • Comunica el problema claramente
  • No oculta ni ignora el error
  • Sugiere alternativas (por ejemplo, modelo o tamaño diferentes)

Turno 2
Usuario: "¿Cuándo volverá a estar disponible?"
Agente:

  • Comprueba la disponibilidad o proporciona una estimación de reabastecimiento, si está disponible
  • Si no está disponible, lo comunica claramente
  • Ofertas para notificar al usuario o sugerir alternativas

Turno 3
Usuario: "¿Puedo obtener el de 14 pulgadas en su lugar?"
Agente:

  • Confirma la disponibilidad de la alternativa
  • Envía la nueva orden
  • Proporciona confirmación (detalles del pedido, entrega esperada)

Aserciones:

  • El agente comunica claramente los fallos y sus causas.
  • El agente ofrece alternativas accionables o próximos pasos.
  • La conversación avanza hacia la recuperación, no hacia callejones sin salida.
  • El usuario completa correctamente la tarea después del error.
  • El agente mantiene el contexto en los pasos de recuperación y error.

Inserciones de varios turnos

La evaluación de múltiples turnos requiere validación tanto a nivel de conversación como a nivel de turno.

Aserciones a nivel de conversación

  • La conversación logra el objetivo del usuario.
  • El número de vueltas está dentro de un rango esperado.
  • El agente mantiene información coherente.
  • El agente mantiene su función.
  • El agente no solicita información duplicada.

Inserciones a nivel de turno

  • La respuesta reconoce el contexto anterior.
  • La respuesta hace las preguntas de seguimiento apropiadas.
  • El agente realiza las acciones esperadas.
  • La respuesta confirma las medidas tomadas.

Aserciones condicionales

  • Cuando el usuario corrige información, el agente actualiza las respuestas posteriores.
  • Cuando se produce un error en una acción, el agente comunica el problema y proporciona alternativas.
  • Cuando un usuario hace una pregunta fuera del ámbito, el agente la redirige correctamente.

Ejemplo: Evaluación en varias vueltas de un extremo a otro

Caso de prueba: Configuración de nueva contratación

Descripción

Un nuevo empleado ordena equipo y hace una pregunta de beneficios durante la misma conversación.

Fundamentación de datos

  • Empleado: Marcus Johnson
  • Employee ID: EMP-99887
  • Departamento: Ingeniería
  • Ubicación: Seattle
  • Presupuesto del equipo: 4.000 dólares

Conversación

Turno 1

  • Usuario: "Empiezo la próxima semana y necesito configurar mi estación de trabajo".
  • Comportamiento esperado: Bienvenido y pregunte sobre las necesidades del equipo.

Turno 2

  • Usuario: "Necesito un MacBook Pro de 16 pulgadas con 64 GB de RAM y un monitor de 27 pulgadas".
  • Comportamiento esperado: Enviar pedido y confirmar.

Turno 3

  • Usuario: "¿Cuándo es la fecha límite para inscribirse en el seguro médico?"
  • Comportamiento esperado: proporcionar información sobre los beneficios sin perder el contexto.

Turno 4

  • Usuario: "¿Puede confirmar lo que pedí?"
  • Comportamiento esperado: Recuerde y resuma el pedido.

Resultados esperados

  • Se completa el pedido de equipo.
  • La pregunta sobre los beneficios se responde con precisión.
  • El contexto se conserva a través de los turnos.
  • La información no se vuelve a solicitar.

Errores comunes

Tenga en cuenta estos problemas comunes al diseñar y evaluar conversaciones de varios turnos:

  • La evaluación de turnos de forma aislada en lugar de dentro del contexto completo de la conversación, lo que puede ocultar fallas relacionadas con la memoria, la continuidad y la finalización de tareas.
  • Probar solo escenarios ideales (ruta feliz), que no reflejan el comportamiento real del usuario, como ambigüedad, correcciones e interrupciones.
  • Ignorar las diferencias entre conversaciones cortas y largas, donde los flujos cortos a menudo no se completan y los flujos largos introducen un desfase contextual.
  • No incluye el comportamiento adverso o inesperado del usuario, como entradas en conflicto, cambio de tema o solicitudes vagas.
  • Definir objetivos de usuario poco claros o implícitos, lo que dificulta determinar si la conversación se ha realizado correctamente.
  • Especificar en exceso las respuestas esperadas, lo que reduce la flexibilidad y penaliza incorrectamente las variaciones válidas.
  • No probar el control de errores y las rutas de recuperación, dejando lagunas en la forma en que el agente responde a los errores o información faltante.

Prácticas recomendadas

Utilice estas prácticas para diseñar evaluaciones eficaces y escalables en varios turnos:

  • Comience con un pequeño conjunto de escenarios de alto valor que representan los flujos de conversación más comunes o críticos.
  • Defina un objetivo de usuario claro para cada caso de prueba y use la finalización del objetivo como métrica principal de éxito.
  • Pruebe las rutas directas (el usuario proporciona todas las entradas por adelantado) y guiadas (el agente recopila entradas en varios turnos) hasta la finalización.
  • Use primero aserciones a nivel de conversación y luego agregue aserciones a nivel de turno para una validación más profunda.
  • Diseñe escenarios que reflejen un comportamiento realista del usuario, incluidas aclaraciones, correcciones y cambio de tema.
  • Valide explícitamente la retención de contexto asegurándose de que el agente usa la información proporcionada anteriormente sin volver a preguntar.
  • Incluya escenarios de recuperación y control de errores, asegurándose de que el agente comunica los errores y proporciona los pasos siguientes.
  • Use afirmaciones flexibles basadas en el comportamiento en lugar de una coincidencia exacta de respuestas.
  • Asegúrese de que las pruebas sean reproducibles y conserve el realismo definiendo los comportamientos esperados en lugar de la formulación exacta.
  • Iterar continuamente y refinar los casos de prueba en función de los errores observados y la evolución de los patrones de uso.

Siguiente paso