Realiza el seguimiento de errores de evaluación con plantillas de registro estructuradas

Documentar errores de evaluación genera conocimiento institucional que acelera futuras sesiones de triaje. Cuando se vuelva a encontrar con el mismo tipo de error, ya sabe qué revisar primero en vez de volver a descubrir las mismas causas raíz.

Use estas plantillas estructuradas para registrar el análisis de errores de sus sesiones de triaje. Elija la versión que se adapte a las necesidades y al flujo de trabajo de su equipo.

Importante

Complete primero el proceso de triaje de errores. Documente los errores mientras los diagnosticas.

Elija la versión de plantilla que se adapte a su equipo:

  • Versión ligera para equipos pequeños que iteran en un solo agente
  • Versión detallada para equipos mayores o cuando se busca consolidar conocimiento institucional en varios agentes

Registro de errores ligero

El registro de errores ligero está diseñado para equipos pequeños o sesiones de evaluación de prioridades rápidas.

Copie esta tabla y rellénela durante las sesiones de triaje. Agregue una fila por error.

Caso de prueba Tipo de causa raíz Problema observado Cambio aplicado Resuelto
___ Configuración de evaluación, del agente o limitación de la plataforma ___ ___ Sí / No / Parcial
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Ejemplo (completado)

Caso de prueba Tipo de causa raíz Problema observado Cambio aplicado Resuelto
KG-003 Configuración de evaluación Respuesta esperada desactualizada (política de devolución antigua—30 días; directiva actual es de 15 días laborables) Valor esperado actualizado a "15 días hábiles" Sí
KG-005 Configuración del agente Detalles de la garantía proporcionados por el agente que no están en ninguna fuente de conocimientos Se ha agregado la instrucción de fundamentación: "Solo responde desde fuentes de conocimientos" Sí
TI-002 Limitación de la plataforma La clasificación de recuperación ignora el título exacto del documento; las preguntas frecuentes siempre se recuperan en lugar del manual del producto Encabezados de documento reestructurados como solución alternativa; escalado al equipo de plataforma Parcial
FA-019 Limitación de la plataforma La consulta ambigua no puede recuperar de forma fiable la fuente correcta Documentado como limitación conocida; supervisión en producción No (brecha conocida)

Registro detallado de errores

El registro detallado de errores es para equipos que necesitan compartir conclusiones, realizar el seguimiento del estado entre sprints o crear conocimiento institucional entre varios agentes.

Nota

Descarga una versión CSV de esta plantilla.

Registro por error

Campo Valor
Id. de caso de prueba del conjunto de evaluación, como KG-003
Conjunto de evaluaciones (a qué conjunto de evaluación pertenece este registro)
Señal de calidad (precisión fáctica, fundamentación del conocimiento, invocación de herramientas, etc.)
Tipo de causa raíz (Configuración de evaluación, configuración del agente, limitación de plataforma, integración de herramientas, sin clasificar)
Detalle de la causa raíz (subtipo específico, como "respuesta esperada desactualizada", "ambigüedad en la descripción de herramientas")
Problema observado (lo que hizo el agente en comparación con lo que debería haber hecho)
Ruta de diagnóstico (qué preguntas de triaje llevaron a esta clasificación, como "Paso 1, Q1.2—respuesta esperada desactualizada")
Acción de corrección (qué se cambió; detalles lo suficientemente específicos para reproducir el cambio)
Estado (Abierto, En Progreso, Resuelto, No se corregirá)
No corregirá la justificación (si no lo arregla: por qué y qué supervisión está implementada)
Comprobación (resultado de la repetición: aprobado o fallido, fecha, número de iteración)
Fecha de triage ___
Priorizado por ___

Ejemplo (completado)

Campo Valor
Id. de caso de prueba KG-005
Conjunto de evaluaciones Fundamentación del conocimiento
Señal de calidad Fundamentación del conocimiento
Tipo de causa raíz Configuración del agente
Detalle de la causa raíz Información incorrecta, contenido generado por el agente que no está en ninguna fuente de conocimientos
Problema observado El agente afirmó «garantía extendida de 3 años que cubre todas las piezas y mano de obra» cuando la fuente dice «garantía estándar de 2 años»
Ruta de diagnóstico Paso 1 aprobado (evaluación válida) → Paso 2, T2.4 (respondió sin fuente) + T2.5 (contradijo la fuente)
Acción de corrección Se ha agregado al mensaje del sistema: "Responda solo basándose en la información que se encuentra en los orígenes de conocimiento. Si la información no está disponible, indíquelo.
Estado Resuelto
No corregirá la justificación No disponible
Comprobación Paso (iteración 2, 15 de febrero)
Fecha de triage 14 feb
Priorizado por [nombre]

Registro resumen de iteraciones

Seguimiento de puntuaciones y cambios a través de las iteraciones para análisis de tendencias.

Iteración Fecha Cambio realizado Conjunto de evaluación afectado Puntuación anterior Puntuación posterior Delta Notas
1 ___ Línea base (sin cambios) Todos — ___% — Ejecución inicial
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Resumen de concentración

Después de cada sesión de evaluación de prioridades, cuenta los tipos de causa raíz para encontrar patrones de concentración.

Tipo de causa raíz Total % del total Systemic?
Configuración de evaluación ___ ___% (80%+ = pausa el trabajo del agente, corrige primero las evaluaciones)
Configuración del agente ___ ___% (80%+ en un área = problema arquitectónico)
Limitación de la plataforma ___ ___% (80 %+ = reevaluar el alcance, escalar)
Herramienta o integración ___ ___% (corregir el backend, no el agente)
Sin clasificar ___ ___% (supervisar; podría ser clasificable con más datos)
Total ___ 100 %

Procedimientos recomendados para mantener el registro

  • Actualizar en tiempo real durante el triaje. No actualice en lote después de la sesión.
  • Registre también resultados negativos, como "probé X, no ayudó." Esta práctica ayuda a evitar repetir enfoques con errores.
  • Revise antes de cada iteración. Compruebe patrones antes de abordar errores individuales.
  • Comparte con el equipo. Comparte el registro con el equipo para que todos vean las conclusiones anteriores.
  • Archivar, no borrar. Mantenga entradas resueltas para el análisis de patrones. Mueva las entradas a una sección de archivo si el registro activo se vuelve demasiado extenso.

Pasos siguientes

Después de documentar sus errores:

  • Last updated on