La optimización de un agente no termina en el lanzamiento. Copilot Studio brinda análisis completos que ayudan a entender cómo interactúan los usuarios con el agente, dónde las conversaciones tienen éxito o se interrumpen, y cuán eficazmente el agente utiliza sus herramientas y fuentes de conocimiento. Este artículo proporciona una lista de verificación estructurada y mejores prácticas para ayudarte a evaluar y mejorar continuamente su agente.
Valide su preparación para la mejora y la analítica
Utilice estas preguntas durante las revisiones periódicas, por ejemplo, ceremonias de sprint, optimizaciones mensuales o preparación previa al lanzamiento.
Temas y patrones de intenciones de usuario
| ¿Ha acabado? |
Tarea |
| ✓ |
¿Está revisando temas para identificar grupos de preguntas de usuario e intenciones emergentes? |
| ✓ |
¿Está agregando temas frecuentes a su trabajo pendiente para futuras mejoras? |
Resultados de la conversación
| ¿Ha acabado? |
Tarea |
| ✓ |
¿Estás analizando conversaciones resueltas, escaladas, abandonadas y desocupadas para encontrar áreas de mejora? |
| ✓ |
¿Se asegura de que las conversaciones terminen con el tema de Fin de la conversación para que los resultados se capturen correctamente? |
| ✓ |
¿Está investigando picos en sesiones abandonadas para identificar respuestas poco claras o falta de lógica? |
| ✓ |
¿Está validando que las rutas de escalación solo se activen cuando corresponda? |
Tasa y calidad de las respuestas generadas
| ¿Ha acabado? |
Tarea |
| ✓ |
¿Revisa la tasa de respuestas generadas para identificar lagunas de conocimiento o faltas de cobertura? |
| ✓ |
¿Revisa las métricas de calidad de las respuestas, como integridad, fundamento y relevancia? |
| ✓ |
¿Investiga las respuestas de mala calidad y aborda las razones señaladas en los análisis? |
| ¿Ha acabado? |
Tarea |
| ✓ |
¿Supervisa con qué frecuencia se invocan las herramientas y acciones y si tienen éxito o fracasan? |
| ✓ |
¿Identifica herramientas poco utilizadas o propensas a errores y determina si optimizarlas o eliminarlas? |
| ✓ |
¿Valida que las herramientas usadas en orquestación generativa funcionan de manera fiable? |
| ¿Ha acabado? |
Tarea |
| ✓ |
¿Revisa el uso y las tasas de error de todas las fuentes de conocimientos? |
| ✓ |
¿Prioriza las actualizaciones de fuentes de conocimientos con altas tasas de error o resultados inconsistentes? |
| ✓ |
¿Verifica que las fuentes de conocimientos correctas apoyen los escenarios para los que están pensadas? |
Satisfacción y comentarios de los usuarios
| ¿Ha acabado? |
Tarea |
| ✓ |
¿Está recopilando el sentimiento de los usuarios mediante me gusta/no me gusta y encuestas CSAT? |
| ✓ |
¿Analiza tendencias de retroalimentación para detectar respuestas poco claras o flujos de conversación débiles? |
| ✓ |
¿Agrega patrones de interacción de baja satisfacción a su trabajo pendiente para rediseñar? |
Llamadas de procedimientos recomendados
-
Trate los análisis como un ciclo iterativo de mejora: use análisis para impulsar cambios incrementales. Utilice temas, respuestas incompletas y patrones de fallo para informar la planificación de los sprints y priorizar los elementos de trabajo pendiente.
-
Céntrese en la calidad de los resultados, no solo en el volumen: un sistema saludable maximiza las conversaciones resueltas y minimiza las escaladas y los abandonos. Utilice las proporciones de resultados como indicador principal de claridad y efectividad.
-
Refuerce las fuentes de conocimientos de forma proactiva: una alta tasa de errores o respuestas de baja calidad suelen indicar fuentes de conocimientos poco claras, desactualizadas o mal alineadas. Actualice y reestructure estas fuentes con frecuencia para mejorar la fundamentación.
-
Optimice las herramientas para estabilidad y éxito: las llamadas a herramientas poco fiables degradan la confianza. Haga un seguimiento de las tasas de éxito y refactorice las acciones que fallen con frecuencia o devuelvan datos inconsistentes.
-
Utilice temas para identificar nuevas oportunidades: los temas destacan las intenciones emergentes. Utilícelos para orientar la creación de nuevos temas, fuentes de conocimientos o necesidades de integración.
-
Asegúrese de que las conversaciones terminen de manera limpia: utilice siempre el tema Fin de la conversación para capturar la resolución y el CSAT. Sin este tema, los análisis se vuelven incompletos y engañosos.
-
Evalúe por separado agentes autónomos e iniciados por el usuario: los agentes autónomos dependen en gran medida de los disparadores y cadenas de herramientas. Revisa los resultados de la ejecución y los desencadenadores por separado de los flujos que se inician por el usuario.
-
Realice un seguimiento del sentimiento a lo largo del tiempo: los comentarios aislados son útiles, pero las tendencias de sentimiento de varias semanas revelan problemas sistémicos. Investigue las caídas persistentes cuanto antes.