Capa 4: Análisis de patrones y mejora continua del agente

Después de realizar el triaje de errores individuales de casos de prueba, puede aplicar correcciones y seguir viendo poca o ninguna mejora en el rendimiento general del agente. Este resultado suele indicar un problema sistémico, no un conjunto de errores no relacionados.

El análisis de patrones permite observar múltiples casos de prueba fallidos para identificar señales recurrentes y causas raíz comunes. Utilice el análisis de patrones para centrarse en cambios que aborden grupos de fallos a la vez, en lugar de corregir cada fallo de forma aislada.

Importante

Utilice esta guía después de completar el triaje de errores y aplicar cambios de remediación. El análisis de patrones es más útil después de realizar el triaje de al menos cinco errores.

Cuándo utilizar el análisis de patrones

El análisis de patrones es más útil cuando se presentan una o más de las siguientes condiciones:

  • Numerosos errores en el mismo conjunto de evaluación.
  • Errores repetidos con síntomas similares.
  • Mejoras en casos de prueba individuales que no afectan las puntuaciones generales.
  • Mejoras en un área que causan regresiones en otra.

Corregir errores uno a uno es ineficiente en estas situaciones. El análisis de patrones permite identificar qué tienen en común los errores para poder abordar la causa raíz.

Análisis de concentración

Después de clasificar los errores individuales, analice los patrones presentes en el conjunto completo.

Patrón Qué indica Acción recomendada
El 80 % o más de los errores son problemas de configuración de la evaluación La suite de evaluación necesita calibración, no cambios en el agente Pause la iteración del agente. Audite y corrija la calidad de la evaluación primero, luego vuelva a ejecutarlo para obtener una señal limpia.
El 80 % o más de los errores son problemas de configuración del agente en un área (por ejemplo, todos relacionados con el conocimiento) Brecha sistémica en la configuración de agentes Céntrese en la remediación en esa área. Este problema suele ser de arquitectura (por ejemplo, la estructura de la fuente de conocimientos), no correcciones individuales de casos de prueba.
El 80 % o más de los errores se deben a limitaciones de la plataforma El agente alcanza los límites de la plataforma Vuelva a evaluar el ámbito del agente. Escale al equipo de plataforma. Ajuste los umbrales o trate los elementos afectados como limitaciones conocidas cuando sea apropiado.
Los errores se distribuyen de manera uniforme entre los diferentes tipos de causas raíz No hay un problema sistémico único Continúe la remediación caso por caso utilizando la asignación de remediación.

Cómo realizar análisis de concentración

  1. Contabilice los errores clasificados por tipo de causa raíz:

    • Problemas de configuración de la evaluación
    • Problems de configuración del agente
    • Limitaciones de la plataforma
    • Sin clasificar

  2. Calcule el porcentaje para cada tipo.

  3. Si algún tipo alcanza el 80 % o más —lo que indica un problema sistémico— corrija la categoría, no los casos individuales.

  4. Si los problemas de configuración del agente se concentran en una señal de calidad (por ejemplo, cinco de los seis son fundamentación de conocimiento), ese patrón apunta a una causa raíz arquitectónica.

Patrones de señales cruzadas

Cuando los errores abarcan varios conjuntos de evaluación, a menudo apuntan a una causa raíz compartida. Identifique los siguientes patrones:

Patrón Lo que probablemente indica Qué investigar
Fallan tanto la precisión factual como el fundamento del conocimiento Problema en la fuente de conocimientos (errónea, ausente, inaccesible o desactualizada) Configuración del conocimiento, estado de indexación y actualización del contenido
Error en la invocación de herramientas y el enrutamiento del desencadenador, ambos con fallo Problema en la configuración de la orquestación: los temas y las herramientas no están bien conectados Revise cómo se enrutan los temas hacia las herramientas. Compruebe si hay flujos desconectados o mal configurados.
Fallo de tono pero precisión pasada El agente obtiene la respuesta correcta pero la presenta de forma inapropiada Céntrese en las instrucciones de estilo de mensaje; la infraestructura de precisión es sólida.
Superación de seguridad pero fallo de precisión El agente puede estar demasiado limitado, demasiado cauteloso, se niega a responder cuando debería Revise las instrucciones de seguridad para detectar restricciones demasiado amplias que bloqueen respuestas legítimas.
Todo pasa excepto los casos límite El comportamiento fundamental es sólido Céntrese en ampliar la robustez en los márgenes; este patrón es una buena señal.
La precisión está mejorando pero el tono se está degradando Conflicto de instrucciones: las nuevas instrucciones para mejorar la precisión podrían estar interfiriendo con las pautas de tono Revise los cambios de mensaje recientes y tenga en cuenta el "presupuesto de instrucciones".
Varios conjuntos de evaluación se degradan simultáneamente Probablemente una causa raíz única con impacto generalizado Compruebe cambios recientes en las indicaciones del sistema, actualizaciones en fuentes de conocimientos o actualizaciones de modelos de plataforma.

Qué hacer con los patrones de señales cruzadas

  1. Identifique la causa raíz compartida: si dos señales fallan juntas, probablemente comparten una dependencia, como una fuente de conocimientos, una sección de indicación o una configuración de herramienta.
  2. Corrija la dependencia compartida: no corrija cada señal por separado.
  3. Vuelva a ejecutar ambos conjuntos de evaluación: después de la corrección, confirme que ambos conjuntos mejoren.
  4. Si solo uno mejora, las señales en realidad no comparten una causa raíz. Realice triaje de los errores restantes de manera independiente.

Análisis de tendencias en las iteraciones

Realice un seguimiento de la evolución de las puntuaciones a lo largo de sus ciclos de iteración para determinar si su estrategia de remediación es efectiva.

Tendencia Interpretación Acción
Las puntuaciones mejoran en las iteraciones La remediación está funcionando Continúe hasta que se alcancen los umbrales.
Puntuaciones planas a pesar de las modificaciones La remediación no está abordando la verdadera causa raíz Vuelva a realizar triaje; la clasificación de la causa raíz puede estar equivocada.
Las puntuaciones se degradan tras un cambio Regresión: el cambio ha deteriorado algo Revierta el cambio. Investigue qué ha experimentado una regresión y por qué.
Un conjunto de evaluación mejorando, otro en degradación Compensación: la corrección de una dimensión afecta a la otra Investigue el acoplamiento, a menudo causado por conflicto de instrucciones (véase Recorrido 3).
Puntuaciones que fluctúan entre ejecuciones (más de +/-10 % de variación) Inestabilidad del evaluador o no determinismo del agente Valide primero la fiabilidad del evaluador (consulte Validación del evaluador). Ejecute al menos tres veces por iteración.

Crear una vista de tendencias

Después de cada iteración, registre:

  • Fecha
  • Cambio realizado
  • Conjunto de evaluaciones
  • Puntuación anterior
  • Puntuación posterior
  • Delta

Esta información le ayuda a:

  • Confirmar que está convergiendo hacia los umbrales
  • Identificar las regresiones rápidamente
  • Detectar estancamientos con antelación (Recorrido 2)

Documentar fallos

Los registros estructurados de errores crean conocimiento institucional en los ciclos de iteración. Sin documentación, los equipos suelen repetir el mismo trabajo de investigación.

¿Por qué documentar los errores?

  • Agilizar el triaje futuro: se identifican rápidamente los patrones de error conocidos.
  • Construir evidencias para la escalación: acumule registros de limitación de la plataforma para reforzar los casos frente al equipo de la plataforma.
  • Facilitar el aprendizaje en equipo: el registro ayuda a evitar investigaciones duplicadas cuando varias personas trabajan en el mismo agente.
  • Rastrear las brechas conocidas: no olvide registrar errores clasificados como "no se solucionan" o "limitaciones conocidas."

Utilizar la plantilla de registro de errores

Use la plantilla de registro de errores para capturar errores en un formato ligero o detallado, dependiendo del tamaño del equipo y la madurez del proceso.

Qué registrar

Como mínimo, capture la siguiente información para cada error de triaje:

  1. Qué caso de prueba ha fallado.
  2. El tipo de causa raíz como el que lo clasificó.
  3. Qué ha fallado específicamente.
  4. Qué ha cambiado para corregirlo.
  5. Si la corrección ha funcionado.

Para errores no resueltos, también se debe registrar:

  • Lo que ha intentado hasta ahora.
  • Por qué sigue sin resolverse.
  • Cuándo reevaluar (por ejemplo, "después de la actualización de la plataforma X").

Flujo de trabajo de mejora continua

Utilice esta lista de verificación después de cada ciclo de evaluación inicial y remediación para confirmar que ha registrado los resultados y los siguientes pasos.

Lista de comprobación posterior a la iteración

¿Ha acabado? Tarea
✓ Registre todos los errores evaluados en el registro de errores.
✓ Identifique y registre concentraciones de causas raíz.
✓ Verifique los patrones entre señales.
✓ Registre las puntuaciones para el seguimiento de tendencias.
✓ Documente las limitaciones conocidas con soluciones alternativas.
✓ Identifique las prioridades de la próxima iteración en función de los errores restantes.
✓ Establecer la programación de nuevas ejecuciones (qué conjuntos de evaluación, cuándo).

Cuándo dejar de iterar

Deje de iterar cuando:

  • Todos los conjuntos de evaluación estén por encima de los umbrales.
  • Haya documentado lagunas conocidas.
  • Las puntuaciones sean consistentes (desviación del < 5 %).
  • No hay problemas de configuración de agente abierto para señales de bloqueo.

No deje de iterar cuando:

  • No haya investigado errores persistentes.
  • Ha quitado los casos de prueba difíciles para alcanzar los umbrales.
  • No ha documentado las limitaciones de la plataforma.

Obtenga más información en Determinar cuándo se completa la iteración.

Pasos siguientes

  • Last updated on