Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
La calidad de la evaluación depende de la calidad de las consultas. Las indicaciones bien diseñadas prueban exactamente lo que pretende, ni más ni menos.
En este artículo se explica cómo diseñar indicaciones de evaluación que produzcan resultados claros y procesables.
Anatomía de un aviso de evaluación eficaz
Las indicaciones de evaluación efectivas comparten cuatro características:
- Intención única
- Redacción realista
- Basado en datos
- Independiente
Intención única
Cada mensaje debe probar un objetivo o pregunta del usuario. Las solicitudes de múltiples intenciones dificultan la identificación de la causa de un error.
| Multiintención (evitar) | Intención única (preferido) |
|---|---|
| ¿Cuál es el saldo de mi toma de fuerza y pueden pedirme una computadora portátil? | ¿Cuál es el saldo de mi toma de fuerza? |
| Cuéntame sobre los beneficios para la salud y también sobre la coincidencia 401k. | ¿Qué planes de seguro médico están disponibles? |
Para probar varias capacidades juntas, use evaluaciones de conversaciones de varios turnos en lugar de combinar intenciones en una sola indicación.
Redacción realista
Las consultas deben reflejar cómo se comunican realmente los usuarios, incluido el lenguaje informal, oraciones incompletas y diferentes niveles de detalle.
| Demasiado formal | Realista |
|---|---|
| Sírvanse proporcionar información sobre la asignación anual de tiempo libre remunerado para los empleados en su primer año de empleo. | ¿Cuántos días de vacaciones tienen los nuevos empleados? |
| Me gustaría iniciar una solicitud de adquisición de equipo informático. | Necesito pedir un ordenador portátil. |
Puede derivar indicaciones realistas de:
- Registros de consultas de producción
- Sesiones de investigación de usuario
- Incidencias de soporte técnico
- Conversaciones cotidianas en el lugar de trabajo
Basado en datos
Las consultas deben basarse en los datos. Cuando los datos de conexión a tierra estén disponibles, use entidades, valores e identificadores específicos. Este enfoque hace que las evaluaciones sean medibles y verificables.
Las consultas fundamentadas permiten afirmaciones precisas como "La respuesta contiene 15 días", en lugar de comprobaciones vagas como "La respuesta contiene el número correcto".
Sin datos de conexión a tierra
Mensaje: "¿Cuál es la directiva de PTO para ingenieros?"
Con datos de conexión a tierra
Datos de conexión a tierra:
- Empleado: Marcus Johnson
- Departamento: Ingeniería
- Tenencia: 8 meses
- Gerente: Lisa Park
- Ubicación: Oficina de Austin
Mensaje: "Estoy en el equipo de ingeniería, ¿cuántos días de vacaciones tengo?"
Independiente (una sola vuelta)
Para las evaluaciones de un solo turno, cada indicación debe incluir todo el contexto necesario. El agente no puede confiar en los turnos de conversación anteriores. En la tabla siguiente se muestran ejemplos de consultas independientes.
| Independiente | Depende del contexto (evitar) |
|---|---|
| ¿Qué cubre el plan de salud PPO? | ¿Qué pasa con el otro plan de salud? |
| ¿Cuál es el costo del empleado para el plan de salud PPO? | ¿Y cuánto cuesta eso? |
| ¿Se puede pedir un MacBook Pro de 16 pulgadas? | ¿Puedes pedir eso en su lugar? |
Para escenarios que abarquen varios turnos, use conversaciones de varios turnos.
Variaciones de consulta
No todos los usuarios hacen la misma pregunta de la misma manera. Para probar la generalización, cree tres variaciones de cada consulta.
Indicaciones canónicas
Las consultas canónicas son explícitas, completas e inequívocas. Sirven como línea de base.
- Incluir todos los parámetros necesarios.
- Use terminología precisa.
- Evita la ambigüedad.
- Representar una consulta ideal.
Ejemplo
"¿Cuántos días libres pagados reciben anualmente los empleados con menos de dos años de antigüedad de acuerdo con la política actual de PTO?"
Variante de lenguaje natural
La variante del lenguaje natural refleja el fraseo conversacional cotidiano. Variantes de lenguaje natural:
- Use un lenguaje informal y conversacional.
- Puede incluir sinónimos o términos informales.
- Evita los identificadores técnicos.
- Permanece lo suficientemente completo como para responder.
Ejemplo
"Oye, ¿cuántas vacaciones tengo como nuevo empleado?"
En la tabla siguiente se comparan las indicaciones canónicas y las variantes de lenguaje natural.
| Técnica | Canónica | Variante natural |
|---|---|---|
| Sinónimos | "Tiempo libre pagado" | "días de vacaciones", "tiempo libre", "PTO" |
| Redacción informal | "¿Cuántos días recibo?" | "cuánto obtengo" |
| Contexto implícito | "Empleados con <2 años de antigüedad" | "como nuevo empleado" |
| Carcasa casual | Uso de mayúsculas y minúsculas adecuado | Minúsculas, puntuación mínima |
Sonda de robustez
La sonda de robustez evalúa qué tan bien el agente maneja la entrada imperfecta. Sondeos de robustez:
- Incluye errores tipográficos realistas.
- Contengan errores gramaticales.
- Use abreviaturas o abreviaturas.
- Pruebe el reconocimiento de intenciones bajo ruido.
Ejemplo: "¿Cuál es mi derecho a días de vacaciones?"
En la tabla siguiente se muestran ejemplos de patrones que se van a probar.
| Patrón | Ejemplo |
|---|---|
| Errores tipográficos | "vacaton" en lugar de "vacation" |
| Falta puntuación | "whats" instead of "what's" |
| Palabras que faltan | "Cuántos días tienen" |
| Abreviaturas | "¿PTO bal?" |
| Consultas de ejecución | "Necesito un portátil MacBook Pro de 16 pulgadas" |
Ejemplos completos de variación de indicaciones
En los ejemplos siguientes se muestran los tres tipos de mensaje para un único escenario.
Escenario: Pedido de equipos
Este escenario incluye los siguientes datos de conexión a tierra:
- Empleada: Katrin Pold
- Departamento: Diseño de Producto
- Fecha de inicio: 15/01/2024
- Presupuesto del equipo: 3.500 dólares
- Artículos aprobados: MacBook Pro (14 o 16 pulgadas), monitor externo, teclado, mouse
Variaciones de consulta
Canónica
"Soy un nuevo empleado en el departamento de Diseño de Productos a partir del 15 de enero de 2024. Necesito pedir una computadora portátil MacBook Pro de 16 pulgadas. Envíe esta solicitud de equipo a través del sistema de pedidos de TI".
Lenguaje natural
"Hola, me acabo de unir al equipo de diseño de productos y necesito configurar mi computadora portátil. ¿Puedo conseguir un MacBook Pro? El de 16 pulgadas preferiblemente".
Sonda de robustez
"Necesito pedir MacBook Pro de 16 pulgadas para un nuevo trabajo en diseño de productos"
Aserciones (se aplican a todas las variaciones):
- La respuesta confirma que se inició el pedido de equipos.
- El agente invocó la herramienta OrderEquipment .
- La llamada a la herramienta incluye "MacBook Pro de 16 pulgadas" (o equivalente).
- La respuesta incluye una confirmación del pedido o un número de referencia.
Escenario: Pregunta de directiva con personalización
Este escenario incluye los siguientes datos de conexión a tierra:
- Empleado: James Wright
- Ubicación: Oficina de Londres, Reino Unido
- Tenencia: 6 meses
- Tipo de empleo: Tiempo completo
Variaciones de consulta
Canónica
"Como empleado a tiempo completo con sede en la oficina de Londres, Reino Unido, con 6 meses de antigüedad, ¿a qué días festivos tengo derecho este año?"
Lenguaje natural
"Trabajo en la oficina de Londres, ¿qué días festivos tengo?"
Sonda de robustez
"¿Vacaciones en la oficina del Reino Unido este año?"
Aserciones (se aplican a todas las variaciones):
- La respuesta enumera los días festivos del Reino Unido (no los días festivos de EE. UU.).
- La respuesta incluye al menos: Año Nuevo, Pascua, Navidad.
- La respuesta hace referencia a la política o al calendario del Reino Unido.
- La respuesta no menciona los días festivos estadounidenses como el 4 de julio o el Día de Acción de Gracias.
Patrones que se deben evitar
Evite los siguientes patrones de consulta.
Solicitudes de intención múltiple
Evita las solicitudes de intención múltiple. Cuando el mensaje cubre varias intenciones, no puede determinar qué intención causó un error.
- Se debe evitar: ¿Cuál es el saldo de mi toma de fuerza, y pueden hablarme sobre las opciones de seguro médico, y es posible que también necesite una computadora portátil?
- Use en su lugar: Dividir en indicaciones independientes o usar la evaluación multiproceso.
Indicaciones compatibles con esquemas
Evite los avisos compatibles con esquemas. Las consultas compatibles con esquemas no funcionan bien porque los usuarios no conocen las API internas ni los nombres de herramientas.
- Se debe evitar: "Llamada a la API GetPTOBalance para el id. de empleado 12345"
- Use en su lugar: "¿Cuál es mi saldo actual de vacaciones?"
Indicaciones vagas
Evita indicaciones vagas. Si su pregunta es vaga, no puede definir afirmaciones medibles.
- Se debe evitar: "Ayúdame con cosas de RRHH"
- Use en su lugar: "¿Cómo me inscribo en el plan de seguro dental?"
Indicaciones principales
Las consultas que insinúan la respuesta esperada no prueban la efectividad real del razonamiento del agente.
- Se debe evitar: "La política de PTO dice 15 días, ¿verdad?"
- Use en su lugar: "¿Cuántos días de PTO reciben los nuevos empleados?"
No independiente (un solo turno)
Evita las consultas que dependan del contexto previo.
- Se debe evitar: "¿Qué pasa con la otra opción?"
- Use en su lugar: "¿Cuál es la diferencia entre los planes de salud HMO y PPO?"
Generar indicaciones a partir de escenarios de usuario
Comience con la intención real del usuario en lugar de con listas de características.
- Recopilar preguntas de usuarios representativos.
- Agrupar por escenario (por ejemplo, búsqueda de directivas, acciones, escalación).
- Escribe una indicación canónica para cada escenario.
- Agregue variantes de lenguaje natural y solidez.
- Consultas de base con datos concretos.
Este enfoque garantiza que las evaluaciones reflejen el uso en el mundo real.
Expansión de indicaciones asistida por IA (opcional)
Después de establecer una línea base sólida, use IA para ampliar la cobertura. Pide a la IA que sugiera más variaciones. Revise cada sugerencia para comprobar que es más realista y relevante. Rechazar solicitudes que no sean naturales, compatibles con esquemas o fuera del ámbito. Agregue avisos solo donde mejoren la cobertura.
Lista de verificación de cobertura rápida
Use esta lista de verificación para asegurarse de que su cobertura inmediata esté completa.
Cobertura de funcionalidades
- Cada herramienta o acción tiene al menos un caso de prueba
- Cada dominio de conocimiento está representado
- Se prueba el comportamiento de escalación
- Se prueban los escenarios fuera del ámbito
Cobertura de variaciones
- Consulta canónica
- Variante de lenguaje natural
- Sonda de robustez
Casos extremos
- Indicaciones muy cortas
- Indicaciones muy largas
- Solicitudes ambiguas
- Falta información
- Solicitudes no válidas o no admitidas
Personalización (si corresponde)
- Diferentes ubicaciones de usuario
- Diferentes niveles de permanencia
- Diferentes roles o departamentos