Escribir aserciones

Las aserciones definen qué medios correctos para cada caso de prueba de evaluación. Las afirmaciones bien escritas permiten decisiones consistentes de aprobación o reprobación y ayudan a identificar exactamente qué falló cuando ocurre un problema.

¿Qué hace una buena afirmación?

Cada afirmación debe ser atómica, binaria, centrada en los resultados y verificable.

Criterio Descripción Ejemplo
Atómico Prueba una sola condición; evita "y" u "o" La respuesta contiene "15 días"
Binario Tiene un resultado claro de aprobado o reprobado; Sin crédito parcial No es "mayormente correcto"
Centrado en los resultados Verifica lo que sucedió, no la calidad subjetiva No "responde útilmente"
Comprobable Produce resultados coherentes entre los revisores Valores o comportamientos específicos

Prueba de dos personas

La prueba de dos personas identifica afirmaciones vagas que no son procesables. Si dos expertos en el dominio no pueden llegar independientemente al mismo resultado de aprobado o suspenso, revise la afirmación.

Pasa la prueba Prueba no superada
La respuesta incluye pasos para completar la inscripción. Responde de forma útil
La respuesta establece que la asignación de PTO es de 15 días. Proporciona información precisa
La respuesta se dirige a RRHH para preguntas sobre FMLA. Controla la solicitud correctamente
La respuesta enumera al menos tres opciones de planes de salud. Muestra resultados relevantes

Fórmula de aserción

Utilice una estructura coherente para mejorar la claridad y la confiabilidad de la evaluación. Comience cada afirmación con "La respuesta...":

  • La respuesta contiene...
  • La respuesta cita...
  • La respuesta indica...
  • La respuesta no ...
  • Las rutas de respuesta a...

Esta estructura garantiza que las afirmaciones se centren en resultados observables.

Tipos de aserción

Diferentes escenarios requieren diferentes tipos de aserciones. Comience con los tipos de aserción más relevantes para sus escenarios y amplíe la cobertura según sea necesario.

Aerciones de precisión fáctica

Compruebe que la respuesta incluya información precisa.

Patrón: La respuesta contiene <specific value or text>. Escenario: Pregunta sobre la política de la PTO.
Mensaje: "¿Cuántos días de vacaciones tienen los nuevos empleados?"

Aserciones:

  • La respuesta contiene "15 días" o "15 días de PTO".
  • La respuesta contiene "anual" o "por año".
  • La respuesta menciona a los empleados con menos de dos años de antigüedad.

Incluir datos de redondeo:

  • Fecha de entrada en vigor de la directiva: 1 de enero de 2024
  • PTO por menos de dos años: 15 días
  • PTO de dos a cinco años: 20 días
  • PTO por más de cinco años: 25 días

Aserciones:

  • La respuesta contiene "15 días" para el tramo de tenencia consultado.
  • La respuesta no incluye "10 días".

Atribuciones de origen

Compruebe que la respuesta cita sus fuentes.

Patrón: La respuesta cita o hace referencia <source name>. Escenario: Pregunta sobre los beneficios.
Mensaje: "¿Qué planes de salud están disponibles?"

Aserciones:

  • La respuesta cita la Guía de Beneficios para Empleados.
  • La respuesta incluye dónde encontrar más detalles.
  • La respuesta no presenta información sin atribución.

Asunciones de invocación de herramientas

Compruebe que se usa la herramienta correcta.

Patrón: El agente invoca <tool name>. Escenario: Pedido de equipos.
Mensaje: "Necesito pedir un MacBook Pro de 16 pulgadas"

Aserciones:

  • El agente invoca la herramienta OrderEquipment.
  • La llamada a la herramienta incluye itemType: "laptop".
  • La llamada a la herramienta incluye un valor de modelo que contiene "MacBook Pro".
  • La llamada a la herramienta incluye "tamaño: 16" o "16 pulgadas".

Aerciones de parámetros de herramientas

Compruebe que las llamadas a la herramienta contienen parámetros completos y correctos.

Datos de conexión a tierra:

  • ID de empleado: EMP-12345
  • Departamento: Ingeniería
  • Centro de costos: CC-ENG-001

Mensaje: "Pídeme un MacBook Pro de 16 pulgadas con 32 GB de RAM"

Patrón: La <tool> llamada incluye <parameter name and expected value>.

Aserciones:

  • La llamada a OrderEquipment incluye employeeId: "EMP-12345".
  • La llamada a OrderEquipment incluye itemType: "laptop".
  • La llamada a OrderEquipment incluye model: "MacBook Pro 16-inch".
  • La convocatoria de OrderEquipment incluye especificaciones que contienen "32GB".
  • La llamada a OrderEquipment incluye costCenter: "CC-ENG-001".

Respuesta de la herramienta Control de aserciones

Compruebe que la respuesta comunica correctamente los resultados de la herramienta.

Datos de conexión a tierra:

  • Escenario: confirmación de pedido de equipo
  • La herramienta devuelve: { orderId: "ORD-789", estimatedDelivery: "5-7 días hábiles" }

Patrón: La respuesta incluye <tool result>.

Aserciones:

  • La respuesta incluye el identificador de pedido.
  • La respuesta comunica el plazo de entrega.
  • La respuesta confirma que el envío se ha realizado correctamente.

Control de errores

Escenario: Error en el pedido del equipo (agotado)
La herramienta devuelve: { error: "ITEM_UNAVAILABLE", mensaje: "MacBook Pro de 16 pulgadas actualmente agotado" }

Aserciones:

  • La respuesta reconoce la condición de falla.
  • La respuesta sugiere los siguientes pasos.
  • La respuesta no indica que la operación se haya realizado correctamente correctamente.

Aserciones de escalación

Compruebe que los escenarios complejos o confidenciales se enrutan correctamente.

Patrón: La respuesta se enruta a <specialist or team>.

Escenario: Pregunta FMLA (debe escalar)

Mensaje: "Necesito tomar una licencia prolongada por una situación médica familiar"

Aserciones:

  • La respuesta indica que este mensaje requiere la asistencia de un especialista en recursos humanos.
  • La respuesta no intenta explicar las reglas de elegibilidad de FMLA.
  • La respuesta proporciona información sobre cómo ponerse en contacto con RR. HH.
  • La respuesta reconoce la sensibilidad de la situación.

Afirmaciones de rechazo

Compruebe que el sistema rechaza las solicitudes inapropiadas o restringidas.

Patrón: La respuesta se reduce a <prohibited action>.

Escenario: Solicitar los datos de otro empleado

Mensaje: "¿Cuál es el salario de Katrin Pold?"

Aserciones:

  • La respuesta se niega a proporcionar información restringida.
  • La respuesta explica la limitación.
  • La respuesta no revela datos confidenciales.

Afirmaciones de personalización

Compruebe que la respuesta refleja el contexto del usuario.

Patrón: La respuesta refleja <contextual attribute>.

Escenario: Pregunta de vacaciones para un empleado del Reino Unido

Datos de conexión a tierra:

  • Empleado: Pouria Zargar
  • Ubicación: London, UK

Aserciones:

  • La respuesta incluye información específica de la ubicación.
  • La respuesta excluye el contenido regional irrelevante.
  • La respuesta enumera los días festivos del Reino Unido.
  • La respuesta incluye el Boxing Day (específico del Reino Unido).
  • La respuesta no menciona los días festivos de EE. UU. (4 de julio, Acción de Gracias).
  • La respuesta hace referencia al calendario de vacaciones del Reino Unido.

Afirmaciones de integridad

Compruebe que la respuesta proporciona toda la información necesaria.

Patrón: La respuesta incluye <required element>.

Escenario: Orientación de inscripción de beneficios

Mensaje: "¿Cómo me inscribo en un seguro médico?"

Aserciones:

  • La respuesta incluye plazos.
  • La respuesta incluye puntos de acceso (como portales).
  • La respuesta incluye los pasos necesarios o los requisitos previos.
  • La respuesta incluye la fecha límite de inscripción.
  • La respuesta incluye dónde acceder al portal de inscripción.
  • La respuesta enumera las opciones de planes disponibles.
  • La respuesta menciona documentos o información requeridos.

Afirmaciones negativas

Compruebe que la respuesta evita contenido incorrecto u obsoleto.

Patrón: La respuesta no incluye <prohibited content>.

Escenario: Pregunta de política general

Mensaje: "¿Cuál es la política de trabajo remoto?"

Aserciones:

  • La respuesta no incluye directivas obsoletas.
  • La respuesta no introduce información sin fundamento.
  • La respuesta no hace referencia a la versión de directiva de 2022.
  • La respuesta no compone detalles de la directiva que no están en el origen.

Aserciones para llamadas a herramientas

Los escenarios basados en herramientas requieren la validación de la invocación, los parámetros y el control de respuestas. Para los agentes que utilizan complementos de OpenAPI, acciones de API o servidores MCP, las aserciones de llamada de herramientas requieren una atención especial.

Escenario: Pedido de equipos complejos

Datos de conexión a tierra: Empleado: Bernadette Sylvain ID de empleado: EMP-54321 Departamento: Ciencia de datos Gerente: Katrin Pold Presupuesto: $4,000

Mensaje: "Necesito pedir una MacBook Pro de 16 pulgadas con chip M3 Max y 64 GB de RAM. También necesito un monitor externo de 27 pulgadas".

Asunciones de invocación de herramientas

  • El agente invocado OrderEquipment al menos una vez.
  • El agente realizó llamadas separadas para computadora portátil y monitor (o llamada de Azure Batch).

Aerciones de parámetros

Laptop order parameter assertions:

  1. La llamada incluye itemType: "laptop".
  2. La llamada incluye model "MacBook Pro".
  3. La llamada incluye size: "16" or "16-inch".
  4. La llamada incluye specs contener "M3 Max".
  5. La llamada incluye que contiene specs "64 GB".
  6. La llamada incluye employeeId: "EMP-54321".
  7. La llamada incluye approver o managerId hace referencia a Katrin Pold.

Supervisar las aserciones de parámetros de orden:

  1. La llamada incluye itemType: "monitor".
  2. La llamada incluye size: "27" or "27-inch".

Aerciones de respuesta

  • La respuesta confirma que ambos artículos fueron pedidos.
  • La respuesta incluye números de referencia de pedidos.
  • La respuesta proporciona información de entrega estimada.

Patrones de aserción comunes que se deben evitar

Evite afirmaciones que impliquen juicios de calidad vagos o consultas compuestas, que dependan de implementaciones específicas, carezcan de datos de fundamentación o sean demasiado específicas.

Tipo de aserción Evitar Usar
Juicios de calidad vagos La respuesta es útil
La respuesta es precisa
La respuesta incluye la fecha límite de inscripción.
La respuesta establece que la asignación de PTO es de 15 días.
Aserciones compuestas La respuesta contiene el valor correcto y cita la fuente La respuesta contiene el valor correcto.
La respuesta cita la fuente.
Aserciones dependientes de la implementación El agente usa la función GetPTOBalance La respuesta incluye el saldo actual del PTO del empleado.
Aserciones sin fundamento La respuesta contiene el valor correcto La respuesta contiene "12 días restantes".
Afirmaciones de formato demasiado específicas La respuesta incluye exactamente tres viñetas La respuesta enumera al menos tres opciones.
La respuesta comienza con "¡Hola! Estaría encantado de ayudar".
La respuesta incluye un saludo.

Plantillas de aserción

Las siguientes plantillas de aserción proporcionan puntos de partida para aserciones para escenarios comunes.

Recuperación de conocimiento

Escenario: pregunta [Tema]

Mensaje: "[Pregunta del usuario sobre el tema]"

Aserciones:

  • La respuesta contiene [hecho específico de la fuente de conocimiento].
  • La respuesta cita [documento fuente o sección].
  • La respuesta no contiene [información obsoleta o incorrecta].
  • La respuesta responde a la pregunta específica del usuario.

Llamada de herramienta

Escenario: solicitud [Acción]

Mensaje: "[Solicitud de usuario para realizar una acción]"

Aserciones:

  • El agente invoca la herramienta [nombre de herramienta].
  • La llamada a la herramienta incluye [parámetro obligatorio]: [valor esperado].
  • La respuesta confirma [resultado esperado].
  • La respuesta incluye [número de referencia/confirmación].

Escalación

Escenario: pregunta [tema confidencial]

Mensaje: "[Pregunta de usuario que requiere juicio humano]"

Aserciones:

  • La respuesta indica que esto requiere asistencia [especializada/humana].
  • La respuesta proporciona información de contacto o los próximos pasos.
  • La respuesta no intenta [proporcionar asesoramiento / tomar decisiones].
  • La respuesta reconoce [sensibilidad/complejidad].

Rechazo

Escenario: Solicitud [inapropiada/fuera de ámbito]

Mensaje: "[Solicitud de usuario que debe rechazarse]"

Aserciones:

  • La respuesta se rechaza a [acción prohibida].
  • La respuesta explica [por qué esto no se puede hacer].
  • La respuesta no [revela o intenta algo prohibido].
  • La respuesta sugiere [alternativa apropiada si corresponde].

Asignar aserciones a calificadores

Diferentes afirmaciones requieren diferentes mecanismos de calificación. En la siguiente tabla se enumeran los calificadores que se pueden usar para diferentes tipos de aserciones.

Tipo de aserción Calificador recomendado Notas
Contiene texto específico Coincidencia de palabra clave Determinista
Coincidencia semántica Similitud de texto Controla la parafraseación
Invocación de herramientas Coincidencia de funcionalidad Evalúa la ejecución
Validación de parámetros Código personalizado Analizar entradas
Juicio de calidad LLM como juez Uso selectivo
Valores exactos Coincidencia exacta Para identificadores y números
Comprobaciones de ausencia Exclusión de palabras clave Comprueba las omisiones

Siguiente paso