Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Los usuarios reales no interactúan con los agentes a través de intercambios aislados de una sola pregunta. En cambio, participan en conversaciones que incluyen preguntas de seguimiento, intercambio de información incremental y finalización de tareas en varios pasos.
La evaluación de varios turnos ayuda a garantizar que su agente pueda mantener el contexto, completar tareas en varios pasos y responder adecuadamente a lo largo de un flujo de conversación realista.
Cuándo usar la evaluación de varios turnos
Use la evaluación en varios turnos al probar escenarios que requieran retención de contexto o varios pasos para completar una tarea.
| Escenario | Por qué se necesita la multivuelta |
|---|---|
| Relleno de ranuras | El agente debe recopilar múltiples piezas de información. |
| Flujos de aclaración | El agente debe resolver la entrada ambigua del usuario. |
| Tareas de varios pasos | La tarea requiere múltiples intercambios para completarse. |
| Seguimientos dependientes del contexto | Las preguntas posteriores dependen de las respuestas anteriores. |
| Divulgación progresiva | La información se proporciona de forma incremental. |
Evaluación de una vuelta frente a varias vueltas
Comience con evaluaciones de un solo turno para la cobertura, luego agregue evaluaciones de varios turnos para probar interacciones realistas.
| Aspecto | De una vuelta | Multivuelta |
|---|---|---|
| Pruebas | Pares individuales de pregunta y respuesta | Completa conversaciones |
| Contexto | Cada indicación es independiente | Los turnos se compilan unos sobre otros |
| Complejidad | Más fácil de diseñar y evaluar | Más realista pero complejo |
| Diagnóstico de fallas | Problemas más fáciles de aislar | Requiere un análisis paso a paso |
| Caso de uso | Probar respuestas específicas | Prueba del flujo de conversación |
Métricas clave para la evaluación de varios turnos
La evaluación de múltiples turnos requiere métricas adicionales más allá de la precisión de un solo turno. Estas métricas evalúan el rendimiento del agente en toda una conversación.
Integridad de la conversación
La integridad de la conversación mide si el agente logra el objetivo del usuario al final de la interacción.
Ejemplo correcto
Turno 1
- Usuario: "Tengo que pedir un portátil"
- Agente: "Puedo ayudar con eso. ¿Qué tipo de portátil necesitas?"
Turno 2
- Usuario: "MacBook Pro"
- Agente: "¿Qué tamaño de pantalla: 14 pulgadas o 16 pulgadas?"
Turno 3
- Usuario: "16 pulgadas"
- Agente: "Envié su pedido de una MacBook Pro de 16 pulgadas. ID de pedido: ORD-456. Entrega prevista: 5-7 días hábiles."
✅ Se logra el objetivo del usuario (pedir una computadora portátil).
Ejemplo de error
Turno 1
- Usuario: "Tengo que pedir un portátil"
- Agente: "Puedo ayudar con eso. ¿Qué tipo de portátil necesitas?"
Turno 2
- Usuario: "MacBook Pro"
- Agente: "¡MacBook Pro es una excelente opción! ¿Hay algo más?"
❌ No se ha enviado el pedido y no se ha alcanzado el objetivo del usuario.
Retención de conocimientos
La retención de conocimiento mide si el agente recuerda y usa la información proporcionada en turnos anteriores.
Ejemplo correcto
Turno 1
- Usuario: "Mi ID de empleado es EMP-12345"
- Agente: "¡Gracias! ¿Cómo puedo ayudarte hoy?"
Turno 2
- Usuario: "Quiero comprobar el saldo de mi toma de fuerza"
- Agente: "Queda 12 días para el saldo actual del PTO".
✅ El agente usó la identificación de empleado proporcionada anteriormente sin volver a preguntar.
Ejemplo de error
Turno 1
- Usuario: "Mi ID de empleado es EMP-12345"
- Agente: "¡Gracias! ¿Cómo puedo ayudarte hoy?"
Turno 2
- Usuario: "Quiero comprobar el saldo de mi toma de fuerza"
- Agente: "Estaré encantado de ayudar. ¿Cuál es su identificación de empleado?"
❌ El agente olvidó la identificación del empleado del turno anterior.
Adherencia de roles
La adherencia de roles mide si el agente mantiene su ámbito y responsabilidades definidos a lo largo de la conversación.
Ejemplo correcto
Turno 1
- Usuario: "¿Cuál es la política de PTO?"
- Agente: proporciona la información correcta de la directiva de PTO
Turno 2
- Usuario: "¿Puedes escribir un poema sobre las vacaciones?"
- Agente: "Estoy aquí para ayudar con las preguntas de RR. HH. y de incorporación. ¿Hay algo más sobre PTO en lo que pueda ayudar?"
✅ El agente se mantuvo dentro de su función y se redirigió adecuadamente.
Ejemplo de error
Turno 1
- Usuario: "¿Cuál es la política de PTO?"
- Agente: proporciona la información correcta de la directiva de PTO
Turno 2
- Usuario: "¿Puedes escribir un poema sobre las vacaciones?"
- Agente: "¡Claro! Aquí hay un poema sobre playas soleadas..."
❌El agente se desvió de su papel como asistente de recursos humanos.
Relevancia de la conversación
La relevancia de la conversación mide si cada respuesta es directamente relevante para la solicitud del usuario dentro del contexto conversacional actual.
Ejemplo de error
Turno 1
- Usuario: "¿Qué planes de salud están disponibles?"
- Agente: Enumera las opciones HMO y PPO
Turno 2
- Usuario: "¿Cuál es la diferencia de coste?"
- Agente: "La PPO ofrece más flexibilidad para elegir médicos".
❌ La respuesta no responde a la pregunta del usuario sobre el costo.
Coherencia de contexto
La coherencia del contexto mide si el agente mantiene hechos e información coherentes en todos los turnos de la conversación.
Ejemplo de error
Turno 1
- Usuario: "¿Cuántos días de vacaciones tengo?"
- Agente: "Como empleado nuevo, recibe 15 días de PTO al año".
Turno 2
- Usuario: "¿Y cuántos días de enfermedad?"
- Agente: "Tienes 10 días de enfermedad, más tus 10 días de vacaciones".
❌ El agente contradice la información anterior al cambiar el número de días de vacaciones.
Diseñar casos de prueba multiturno
El diseño de evaluaciones efectivas de múltiples turnos requiere definir tanto el flujo de conversación como los comportamientos esperados. Un caso de prueba de varias vueltas suele incluir:
- Id. y descripción del caso de prueba
- Fundamentación de datos
- Secuencia de conversación
- Comportamientos esperados
- Aserciones
Ejemplo: Pedido de equipo
- Id. de caso de prueba: CONV-001
- Descripción: Flujo de pedido de equipos
Fundamentación de datos
- Empleada: Katrin Pold
- ID de empleado: EMP-54321
- Departamento: Diseño de Producto
- Presupuesto: $3,500
Conversación
Turno 1
- Usuario: "Necesito configurar mi portátil".
- Comportamiento esperado: Pregunte sobre las preferencias.
Turno 2
- Usuario: "MacBook Pro"
- Comportamiento esperado: Consultar especificaciones.
Turno 3
- Usuario: "16 pulgadas con 32 GB de RAM"
- Comportamiento esperado: confirmar y enviar el pedido.
Turno 4
- Usuario: "En realidad, cámbielo a 64 GB".
- Comportamiento esperado: Actualizar el pedido.
Aserciones a nivel de conversación
- La conversación se completa con un pedido de equipo confirmado.
- El pedido final refleja la especificación corregida (64 GB).
- El agente nunca solicita la identificación del empleado (debe inferir del contexto).
- El total de turnos para completar es de ≤6.
Inserciones a nivel de turno
-
Turno 3:
- El agente invoca la herramienta OrderEquipment.
- La llamada de herramienta incluye el modelo: "MacBook Pro de 16 pulgadas".
- La llamada a la herramienta incluye especificaciones que contienen "32 GB".
-
Turno 4:
- El agente invoca UpdateOrder o modifica el orden anterior.
- La confirmación final muestra "64 GB".
Ejemplo: conversación sobre llenar huecos
Escenario: Inscripción de beneficios (llenado de espacios)
Objetivo: recopilar toda la información necesaria y completar la inscripción
Entradas necesarias (ranuras):
- Selección de planes (HMO o PPO)
- Nivel de cobertura (individual o familiar)
- Información dependiente (si procede)
- Fecha de vigencia
Conversación
Turno 1
Usuario: "Quiero inscribirme en un seguro de salud".
Agente:
- Acusar recibo de la solicitud
- Solicita la preferencia del plan (HMO vs. PPO)
Turno 2
Usuario: "¿Cuál es la diferencia?"
Agente:
- Explica las diferencias clave entre HMO y PPO
- Se vuelve a solicitar la selección del plan
Turno 3
Usuario: "Iré con el PPO".
Agente:
- Confirma la selección
- Pregunta por el nivel de cobertura (individual o familiar)
Turno 4
Usuario: "Cobertura familiar. Tengo un cónyuge y dos hijos".
Agente:
- Confirma escenario dependiente
- Detalles dependientes de las solicitudes (nombres, edades, etc.)
Turno 5
Usuario: [Proporciona información dependiente]
Agente:
- Confirma toda la información recopilada
- Envía la inscripción
- Proporciona un resumen de confirmación
Aserciones:
- Todos los espacios necesarios se recopilan antes del envío.
- El agente no omite las entradas necesarias.
- El agente explica las opciones cuando se le solicita.
- La confirmación final incluye todos los detalles capturados.
- La tarea se completa con éxito sin turnos innecesarios.
Ejemplo: conversación aclaratoria
Escenario: Solicitud ambigua (aclaración)
Objetivo: Resolver la ambigüedad reuniendo suficiente contexto antes de responder
Conversación
Turno 1
Usuario: "Necesito tomarme un tiempo libre".
Agente:
- Acusar recibo de la solicitud
- Pregunta qué tipo de tiempo libre (PTO, licencia por enfermedad, licencia personal)
Turno 2
Usuario: "Es para un procedimiento médico".
Agente:
- Identifica la categoría probable
- Se pregunta si la solicitud es para el usuario o un miembro de la familia
Turno 3
Usuario: "Es para mí. Es una cirugía menor".
Agente:
- Determina que es probable que se trate de una baja por enfermedad.
- Proporciona información relevante sobre directivas
- Pregunta sobre la duración esperada
Turno 4
Usuario: "Alrededor de una semana".
Agente:
- Confirma la elegibilidad y procesa
- Indica los pasos siguientes (por ejemplo, cómo solicitar la licencia)
- Ofrece iniciar la solicitud si corresponde
Aserciones:
- El agente no asume la intención de la solicitud ambigua inicial.
- Las preguntas aclaratorias son relevantes y reducen progresivamente el alcance.
- La respuesta final refleja la situación real del usuario.
- El agente pasa de la aclaración a la resolución de manera efectiva.
Ejemplo: conversación de recuperación de errores
Escenario: Error de pedido y recuperación
Objetivo: Manejar los fallos de forma transparente y guiar al usuario hacia un resultado exitoso
Conversación:
Turno 1
Usuario: "Pídeme un MacBook Pro de 16 pulgadas".
Agente:
- Intentos de enviar el pedido
Respuesta del sistema/herramienta:
- Error: Artículo agotado
Agente:
- Comunica el problema claramente
- No oculta ni ignora el error
- Sugiere alternativas (por ejemplo, modelo o tamaño diferentes)
Turno 2
Usuario: "¿Cuándo volverá a estar disponible?"
Agente:
- Comprueba la disponibilidad o proporciona una estimación de reabastecimiento, si está disponible
- Si no está disponible, lo comunica claramente
- Ofertas para notificar al usuario o sugerir alternativas
Turno 3
Usuario: "¿Puedo obtener el de 14 pulgadas en su lugar?"
Agente:
- Confirma la disponibilidad de la alternativa
- Envía la nueva orden
- Proporciona confirmación (detalles del pedido, entrega esperada)
Aserciones:
- El agente comunica claramente los fallos y sus causas.
- El agente ofrece alternativas accionables o próximos pasos.
- La conversación avanza hacia la recuperación, no hacia callejones sin salida.
- El usuario completa correctamente la tarea después del error.
- El agente mantiene el contexto en los pasos de recuperación y error.
Inserciones de varios turnos
La evaluación de múltiples turnos requiere validación tanto a nivel de conversación como a nivel de turno.
Aserciones a nivel de conversación
- La conversación logra el objetivo del usuario.
- El número de vueltas está dentro de un rango esperado.
- El agente mantiene información coherente.
- El agente mantiene su función.
- El agente no solicita información duplicada.
Inserciones a nivel de turno
- La respuesta reconoce el contexto anterior.
- La respuesta hace las preguntas de seguimiento apropiadas.
- El agente realiza las acciones esperadas.
- La respuesta confirma las medidas tomadas.
Aserciones condicionales
- Cuando el usuario corrige información, el agente actualiza las respuestas posteriores.
- Cuando se produce un error en una acción, el agente comunica el problema y proporciona alternativas.
- Cuando un usuario hace una pregunta fuera del ámbito, el agente la redirige correctamente.
Ejemplo: Evaluación en varias vueltas de un extremo a otro
Caso de prueba: Configuración de nueva contratación
Descripción
Un nuevo empleado ordena equipo y hace una pregunta de beneficios durante la misma conversación.
Fundamentación de datos
- Empleado: Marcus Johnson
- Employee ID: EMP-99887
- Departamento: Ingeniería
- Ubicación: Seattle
- Presupuesto del equipo: 4.000 dólares
Conversación
Turno 1
- Usuario: "Empiezo la próxima semana y necesito configurar mi estación de trabajo".
- Comportamiento esperado: Bienvenido y pregunte sobre las necesidades del equipo.
Turno 2
- Usuario: "Necesito un MacBook Pro de 16 pulgadas con 64 GB de RAM y un monitor de 27 pulgadas".
- Comportamiento esperado: Enviar pedido y confirmar.
Turno 3
- Usuario: "¿Cuándo es la fecha límite para inscribirse en el seguro médico?"
- Comportamiento esperado: proporcionar información sobre los beneficios sin perder el contexto.
Turno 4
- Usuario: "¿Puede confirmar lo que pedí?"
- Comportamiento esperado: Recuerde y resuma el pedido.
Resultados esperados
- Se completa el pedido de equipo.
- La pregunta sobre los beneficios se responde con precisión.
- El contexto se conserva a través de los turnos.
- La información no se vuelve a solicitar.
Errores comunes
Tenga en cuenta estos problemas comunes al diseñar y evaluar conversaciones de varios turnos:
- La evaluación de turnos de forma aislada en lugar de dentro del contexto completo de la conversación, lo que puede ocultar fallas relacionadas con la memoria, la continuidad y la finalización de tareas.
- Probar solo escenarios ideales (ruta feliz), que no reflejan el comportamiento real del usuario, como ambigüedad, correcciones e interrupciones.
- Ignorar las diferencias entre conversaciones cortas y largas, donde los flujos cortos a menudo no se completan y los flujos largos introducen un desfase contextual.
- No incluye el comportamiento adverso o inesperado del usuario, como entradas en conflicto, cambio de tema o solicitudes vagas.
- Definir objetivos de usuario poco claros o implícitos, lo que dificulta determinar si la conversación se ha realizado correctamente.
- Especificar en exceso las respuestas esperadas, lo que reduce la flexibilidad y penaliza incorrectamente las variaciones válidas.
- No probar el control de errores y las rutas de recuperación, dejando lagunas en la forma en que el agente responde a los errores o información faltante.
Prácticas recomendadas
Utilice estas prácticas para diseñar evaluaciones eficaces y escalables en varios turnos:
- Comience con un pequeño conjunto de escenarios de alto valor que representan los flujos de conversación más comunes o críticos.
- Defina un objetivo de usuario claro para cada caso de prueba y use la finalización del objetivo como métrica principal de éxito.
- Pruebe las rutas directas (el usuario proporciona todas las entradas por adelantado) y guiadas (el agente recopila entradas en varios turnos) hasta la finalización.
- Use primero aserciones a nivel de conversación y luego agregue aserciones a nivel de turno para una validación más profunda.
- Diseñe escenarios que reflejen un comportamiento realista del usuario, incluidas aclaraciones, correcciones y cambio de tema.
- Valide explícitamente la retención de contexto asegurándose de que el agente usa la información proporcionada anteriormente sin volver a preguntar.
- Incluya escenarios de recuperación y control de errores, asegurándose de que el agente comunica los errores y proporciona los pasos siguientes.
- Use afirmaciones flexibles basadas en el comportamiento en lugar de una coincidencia exacta de respuestas.
- Asegúrese de que las pruebas sean reproducibles y conserve el realismo definiendo los comportamientos esperados en lugar de la formulación exacta.
- Iterar continuamente y refinar los casos de prueba en función de los errores observados y la evolución de los patrones de uso.