Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Las aserciones definen qué medios correctos para cada caso de prueba de evaluación. Las afirmaciones bien escritas permiten decisiones consistentes de aprobación o reprobación y ayudan a identificar exactamente qué falló cuando ocurre un problema.
¿Qué hace una buena afirmación?
Cada afirmación debe ser atómica, binaria, centrada en los resultados y verificable.
| Criterio | Descripción | Ejemplo |
|---|---|---|
| Atómico | Prueba una sola condición; evita "y" u "o" | La respuesta contiene "15 días" |
| Binario | Tiene un resultado claro de aprobado o reprobado; Sin crédito parcial | No es "mayormente correcto" |
| Centrado en los resultados | Verifica lo que sucedió, no la calidad subjetiva | No "responde útilmente" |
| Comprobable | Produce resultados coherentes entre los revisores | Valores o comportamientos específicos |
Prueba de dos personas
La prueba de dos personas identifica afirmaciones vagas que no son procesables. Si dos expertos en el dominio no pueden llegar independientemente al mismo resultado de aprobado o suspenso, revise la afirmación.
| Pasa la prueba | Prueba no superada |
|---|---|
| La respuesta incluye pasos para completar la inscripción. | Responde de forma útil |
| La respuesta establece que la asignación de PTO es de 15 días. | Proporciona información precisa |
| La respuesta se dirige a RRHH para preguntas sobre FMLA. | Controla la solicitud correctamente |
| La respuesta enumera al menos tres opciones de planes de salud. | Muestra resultados relevantes |
Fórmula de aserción
Utilice una estructura coherente para mejorar la claridad y la confiabilidad de la evaluación. Comience cada afirmación con "La respuesta...":
- La respuesta contiene...
- La respuesta cita...
- La respuesta indica...
- La respuesta no ...
- Las rutas de respuesta a...
Esta estructura garantiza que las afirmaciones se centren en resultados observables.
Tipos de aserción
Diferentes escenarios requieren diferentes tipos de aserciones. Comience con los tipos de aserción más relevantes para sus escenarios y amplíe la cobertura según sea necesario.
Aerciones de precisión fáctica
Compruebe que la respuesta incluya información precisa.
Patrón: La respuesta contiene <specific value or text>.
Escenario: Pregunta sobre la política de la PTO.
Mensaje: "¿Cuántos días de vacaciones tienen los nuevos empleados?"
Aserciones:
- La respuesta contiene "15 días" o "15 días de PTO".
- La respuesta contiene "anual" o "por año".
- La respuesta menciona a los empleados con menos de dos años de antigüedad.
Incluir datos de redondeo:
- Fecha de entrada en vigor de la directiva: 1 de enero de 2024
- PTO por menos de dos años: 15 días
- PTO de dos a cinco años: 20 días
- PTO por más de cinco años: 25 días
Aserciones:
- La respuesta contiene "15 días" para el tramo de tenencia consultado.
- La respuesta no incluye "10 días".
Atribuciones de origen
Compruebe que la respuesta cita sus fuentes.
Patrón: La respuesta cita o hace referencia <source name>.
Escenario: Pregunta sobre los beneficios.
Mensaje: "¿Qué planes de salud están disponibles?"
Aserciones:
- La respuesta cita la Guía de Beneficios para Empleados.
- La respuesta incluye dónde encontrar más detalles.
- La respuesta no presenta información sin atribución.
Asunciones de invocación de herramientas
Compruebe que se usa la herramienta correcta.
Patrón: El agente invoca <tool name>.
Escenario: Pedido de equipos.
Mensaje: "Necesito pedir un MacBook Pro de 16 pulgadas"
Aserciones:
- El agente invoca la herramienta OrderEquipment.
- La llamada a la herramienta incluye
itemType: "laptop". - La llamada a la herramienta incluye un valor de modelo que contiene "MacBook Pro".
- La llamada a la herramienta incluye "tamaño: 16" o "16 pulgadas".
Aerciones de parámetros de herramientas
Compruebe que las llamadas a la herramienta contienen parámetros completos y correctos.
Datos de conexión a tierra:
- ID de empleado: EMP-12345
- Departamento: Ingeniería
- Centro de costos: CC-ENG-001
Mensaje: "Pídeme un MacBook Pro de 16 pulgadas con 32 GB de RAM"
Patrón: La <tool> llamada incluye <parameter name and expected value>.
Aserciones:
- La llamada a OrderEquipment incluye
employeeId: "EMP-12345". - La llamada a OrderEquipment incluye
itemType: "laptop". - La llamada a OrderEquipment incluye
model: "MacBook Pro 16-inch". - La convocatoria de OrderEquipment incluye especificaciones que contienen "32GB".
- La llamada a OrderEquipment incluye
costCenter: "CC-ENG-001".
Respuesta de la herramienta Control de aserciones
Compruebe que la respuesta comunica correctamente los resultados de la herramienta.
Datos de conexión a tierra:
- Escenario: confirmación de pedido de equipo
- La herramienta devuelve: { orderId: "ORD-789", estimatedDelivery: "5-7 días hábiles" }
Patrón: La respuesta incluye <tool result>.
Aserciones:
- La respuesta incluye el identificador de pedido.
- La respuesta comunica el plazo de entrega.
- La respuesta confirma que el envío se ha realizado correctamente.
Control de errores
Escenario: Error en el pedido del equipo (agotado)
La herramienta devuelve: { error: "ITEM_UNAVAILABLE", mensaje: "MacBook Pro de 16 pulgadas actualmente agotado" }
Aserciones:
- La respuesta reconoce la condición de falla.
- La respuesta sugiere los siguientes pasos.
- La respuesta no indica que la operación se haya realizado correctamente correctamente.
Aserciones de escalación
Compruebe que los escenarios complejos o confidenciales se enrutan correctamente.
Patrón: La respuesta se enruta a <specialist or team>.
Escenario: Pregunta FMLA (debe escalar)
Mensaje: "Necesito tomar una licencia prolongada por una situación médica familiar"
Aserciones:
- La respuesta indica que este mensaje requiere la asistencia de un especialista en recursos humanos.
- La respuesta no intenta explicar las reglas de elegibilidad de FMLA.
- La respuesta proporciona información sobre cómo ponerse en contacto con RR. HH.
- La respuesta reconoce la sensibilidad de la situación.
Afirmaciones de rechazo
Compruebe que el sistema rechaza las solicitudes inapropiadas o restringidas.
Patrón: La respuesta se reduce a <prohibited action>.
Escenario: Solicitar los datos de otro empleado
Mensaje: "¿Cuál es el salario de Katrin Pold?"
Aserciones:
- La respuesta se niega a proporcionar información restringida.
- La respuesta explica la limitación.
- La respuesta no revela datos confidenciales.
Afirmaciones de personalización
Compruebe que la respuesta refleja el contexto del usuario.
Patrón: La respuesta refleja <contextual attribute>.
Escenario: Pregunta de vacaciones para un empleado del Reino Unido
Datos de conexión a tierra:
- Empleado: Pouria Zargar
- Ubicación: London, UK
Aserciones:
- La respuesta incluye información específica de la ubicación.
- La respuesta excluye el contenido regional irrelevante.
- La respuesta enumera los días festivos del Reino Unido.
- La respuesta incluye el Boxing Day (específico del Reino Unido).
- La respuesta no menciona los días festivos de EE. UU. (4 de julio, Acción de Gracias).
- La respuesta hace referencia al calendario de vacaciones del Reino Unido.
Afirmaciones de integridad
Compruebe que la respuesta proporciona toda la información necesaria.
Patrón: La respuesta incluye <required element>.
Escenario: Orientación de inscripción de beneficios
Mensaje: "¿Cómo me inscribo en un seguro médico?"
Aserciones:
- La respuesta incluye plazos.
- La respuesta incluye puntos de acceso (como portales).
- La respuesta incluye los pasos necesarios o los requisitos previos.
- La respuesta incluye la fecha límite de inscripción.
- La respuesta incluye dónde acceder al portal de inscripción.
- La respuesta enumera las opciones de planes disponibles.
- La respuesta menciona documentos o información requeridos.
Afirmaciones negativas
Compruebe que la respuesta evita contenido incorrecto u obsoleto.
Patrón: La respuesta no incluye <prohibited content>.
Escenario: Pregunta de política general
Mensaje: "¿Cuál es la política de trabajo remoto?"
Aserciones:
- La respuesta no incluye directivas obsoletas.
- La respuesta no introduce información sin fundamento.
- La respuesta no hace referencia a la versión de directiva de 2022.
- La respuesta no compone detalles de la directiva que no están en el origen.
Aserciones para llamadas a herramientas
Los escenarios basados en herramientas requieren la validación de la invocación, los parámetros y el control de respuestas. Para los agentes que utilizan complementos de OpenAPI, acciones de API o servidores MCP, las aserciones de llamada de herramientas requieren una atención especial.
Escenario: Pedido de equipos complejos
Datos de conexión a tierra: Empleado: Bernadette Sylvain ID de empleado: EMP-54321 Departamento: Ciencia de datos Gerente: Katrin Pold Presupuesto: $4,000
Mensaje: "Necesito pedir una MacBook Pro de 16 pulgadas con chip M3 Max y 64 GB de RAM. También necesito un monitor externo de 27 pulgadas".
Asunciones de invocación de herramientas
- El agente invocado
OrderEquipmental menos una vez. - El agente realizó llamadas separadas para computadora portátil y monitor (o llamada de Azure Batch).
Aerciones de parámetros
Laptop order parameter assertions:
- La llamada incluye
itemType: "laptop". - La llamada incluye
model"MacBook Pro". - La llamada incluye
size: "16"or"16-inch". - La llamada incluye
specscontener "M3 Max". - La llamada incluye que contiene
specs"64 GB". - La llamada incluye
employeeId: "EMP-54321". - La llamada incluye
approveromanagerIdhace referencia a Katrin Pold.
Supervisar las aserciones de parámetros de orden:
- La llamada incluye
itemType: "monitor". - La llamada incluye
size: "27"or"27-inch".
Aerciones de respuesta
- La respuesta confirma que ambos artículos fueron pedidos.
- La respuesta incluye números de referencia de pedidos.
- La respuesta proporciona información de entrega estimada.
Patrones de aserción comunes que se deben evitar
Evite afirmaciones que impliquen juicios de calidad vagos o consultas compuestas, que dependan de implementaciones específicas, carezcan de datos de fundamentación o sean demasiado específicas.
| Tipo de aserción | Evitar | Usar |
|---|---|---|
| Juicios de calidad vagos | La respuesta es útil La respuesta es precisa |
La respuesta incluye la fecha límite de inscripción. La respuesta establece que la asignación de PTO es de 15 días. |
| Aserciones compuestas | La respuesta contiene el valor correcto y cita la fuente | La respuesta contiene el valor correcto. La respuesta cita la fuente. |
| Aserciones dependientes de la implementación | El agente usa la función GetPTOBalance | La respuesta incluye el saldo actual del PTO del empleado. |
| Aserciones sin fundamento | La respuesta contiene el valor correcto | La respuesta contiene "12 días restantes". |
| Afirmaciones de formato demasiado específicas | La respuesta incluye exactamente tres viñetas | La respuesta enumera al menos tres opciones. La respuesta comienza con "¡Hola! Estaría encantado de ayudar". La respuesta incluye un saludo. |
Plantillas de aserción
Las siguientes plantillas de aserción proporcionan puntos de partida para aserciones para escenarios comunes.
Recuperación de conocimiento
Escenario: pregunta [Tema]
Mensaje: "[Pregunta del usuario sobre el tema]"
Aserciones:
- La respuesta contiene [hecho específico de la fuente de conocimiento].
- La respuesta cita [documento fuente o sección].
- La respuesta no contiene [información obsoleta o incorrecta].
- La respuesta responde a la pregunta específica del usuario.
Llamada de herramienta
Escenario: solicitud [Acción]
Mensaje: "[Solicitud de usuario para realizar una acción]"
Aserciones:
- El agente invoca la herramienta [nombre de herramienta].
- La llamada a la herramienta incluye [parámetro obligatorio]: [valor esperado].
- La respuesta confirma [resultado esperado].
- La respuesta incluye [número de referencia/confirmación].
Escalación
Escenario: pregunta [tema confidencial]
Mensaje: "[Pregunta de usuario que requiere juicio humano]"
Aserciones:
- La respuesta indica que esto requiere asistencia [especializada/humana].
- La respuesta proporciona información de contacto o los próximos pasos.
- La respuesta no intenta [proporcionar asesoramiento / tomar decisiones].
- La respuesta reconoce [sensibilidad/complejidad].
Rechazo
Escenario: Solicitud [inapropiada/fuera de ámbito]
Mensaje: "[Solicitud de usuario que debe rechazarse]"
Aserciones:
- La respuesta se rechaza a [acción prohibida].
- La respuesta explica [por qué esto no se puede hacer].
- La respuesta no [revela o intenta algo prohibido].
- La respuesta sugiere [alternativa apropiada si corresponde].
Asignar aserciones a calificadores
Diferentes afirmaciones requieren diferentes mecanismos de calificación. En la siguiente tabla se enumeran los calificadores que se pueden usar para diferentes tipos de aserciones.
| Tipo de aserción | Calificador recomendado | Notas |
|---|---|---|
| Contiene texto específico | Coincidencia de palabra clave | Determinista |
| Coincidencia semántica | Similitud de texto | Controla la parafraseación |
| Invocación de herramientas | Coincidencia de funcionalidad | Evalúa la ejecución |
| Validación de parámetros | Código personalizado | Analizar entradas |
| Juicio de calidad | LLM como juez | Uso selectivo |
| Valores exactos | Coincidencia exacta | Para identificadores y números |
| Comprobaciones de ausencia | Exclusión de palabras clave | Comprueba las omisiones |