Supervisar y analizar un agente (vista previa)

[Este artículo es documentación preliminar y está sujeto a modificaciones].

La pestaña Monitor en la experiencia de nuevo agente ofrece una vista de la actividad reciente de tu agente y de la efectividad general a lo largo de las sesiones. Las métricas clave incluyen las sesiones de conversación (cómo gestionó tu agente las conversaciones), la interacción del usuario (número de mensajes y duración de las sesiones), estimaciones de costes y ahorros, reacciones totales y calidad de la respuesta.

Puedes filtrar la pestaña Monitor para mostrar eventos ocurridos en los últimos 360 días.

Note

Las funciones de este artículo son utilizadas por agentes o flujos de trabajo impulsados por el arnés GitHub Copilot.

La facturación basada en el uso se aplica al uso, construcción, prueba y evaluación de agentes. Estas acciones pueden consumir Créditos de Copilot. Infózcate más en Gestionar costes para agentes impulsados por el arnés GitHub Copilot.

Note

La pestaña Monitor no está disponible hasta que haya publicado su agente. Para que esté disponible, seleccione Publicar en la pestaña Crear.

Overview

El panel de Resumen proporciona métricas clave de rendimiento (KPI) de alto nivel para tu agente y te ofrece una visión agregada de su efectividad global. Las métricas clave en el panel de Resumen son:

  • Sesiones de conversación: El total incluye sesiones comprometidas y no comprometidas.
  • Reacciones totales: El número total de reacciones que los usuarios dieron a los mensajes del agente.
  • Usuarios activos diarios promedios: Usuarios activos diarios promedio durante el periodo seleccionado.
  • Duración media de las partidas: El tiempo medio que tarda el agente en completar una partida desde el principio hasta el final.
  • Número total de ejecuciones: El número total de veces que el agente se activó y se ejecutó durante el período seleccionado.
  • Tasa de éxito: El porcentaje de carreras que completaron con éxito sin errores durante el periodo seleccionado.

Usuarios activos

Las métricas de usuario activo ofrecen una visión del grado en que se está adoptando un agente conversacional y cómo evoluciona a lo largo del tiempo. Un usuario activo es un usuario único que interactúó con el agente conversacional al menos una vez durante el período del informe. La pestaña Monitor de Copilot Studio muestra el número de usuarios activos durante dos periodos predefinidos: usuarios activos diarios (DAU) y usuarios activos mensuales (MAU). El recuento diario comienza y finaliza según un día completo de 24 horas en la zona horaria UTC. El recuento mensual sigue el mes natural, comenzando y finalizando en los primeros y últimos días según la zona horaria UTC.

Importante

La función de métricas de usuario activo solo es compatible si configuras tu agente para requerir autenticación en Configuración>Seguridad y Autenticación de acceso>.

El promedio de DAU para el período seleccionado, más su porcentaje de cambio desde el período anterior, aparece como un indicador clave de rendimiento (KPI) en la sección Información general .

Note

La fórmula de la métrica calculada media de DAU es: (sum of all full-day active user counts in the period) / (count of full days in the period).

Para ver más detalles sobre los recuentos de usuarios activos diarios y mensuales a medida que tendencia a lo largo del tiempo, seleccione el botón Ver usuarios activos en la esquina superior derecha del panel de información general.

Facturación

En la página de Monitor de tu agente, el panel de Resumen muestra el total de créditos Copilot facturados por tu agente para el periodo seleccionado. Para ver más detalles sobre la información de facturación, seleccione Ver facturación. Esta selección abre un panel lateral del gráfico de tendencias de facturación que muestra los cambios en los créditos Copilot facturados por tu agente durante el periodo seleccionado. Mantenga el puntero sobre los puntos del gráfico para ver el número de créditos de Copilot.

Los datos de análisis tardan unas horas en actualizarse con nuevos créditos de Copilot facturados, por lo que es posible que no vea datos sobre la actividad reciente.

Ahorros

Utiliza el panel de Ahorro para estimar cuánto tiempo y dinero ahorra tu agente. Utiliza la calculadora de ahorros para estimar tu ahorro por uso o para calcular el ahorro de una o más de las herramientas que tu agente utiliza. Si hay un panel de Ahorro vacío sin métricas calculadas, selecciona Calcular ahorros.

Captura de pantalla del cuadro de diálogo de la calculadora de ahorros con la opción Por ejecución seleccionada y la opción Por herramienta.

Selecciona Por ejecución o Por herramienta.

Reacciones

En la sección Reacciones se muestran los comentarios de los usuarios recopilados de las reacciones a las respuestas del agente. El gráfico cuenta el número de veces que los usuarios seleccionaron los botones de pulgar arriba (positivo) o pulgar abajo (negativo) disponibles en cada respuesta que recibieron de su agente.

El gráfico de reacciones de respuesta.

Note

  • Los agentes publicados en el canal de Microsoft 365 Copilot no admiten reacciones.
  • Para ver los comentarios, debe tener el rol de seguridad Visor de transcripción de bot.

La característica Reacciones está activada de forma predeterminada. Puedes desactivarlo si es necesario. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

  1. Abre tu agente, selecciona Configuración y luego selecciona la pestaña Seguridad y acceso .

  2. Activa la opción Comentarios de los usuarios en Activado o Desactivado.

Los usuarios con el privilegio Bot Transcript Viewer pueden explorar en profundidad las respuestas del agente para las reacciones individuales y filtrar por los comentarios del usuario.

Para ver las tendencias de reacción a lo largo del tiempo, selecciona Ver detalles en la casilla Reacciones para abrir el panel lateral de Reacciones . En el panel se muestra cómo las reacciones positivas y negativas (de Pulgar hacia arriba y Pulgar hacia abajo) evolucionan a lo largo del tiempo.

Uso de herramientas

La sección Uso de herramientas muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las herramientas a lo largo del tiempo y la frecuencia con la que el agente usó esas herramientas correctamente. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

El gráfico muestra las cinco herramientas principales usadas en el periodo de fechas definido en la parte superior de la página Análisis.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las herramientas para resaltar esa herramienta en el gráfico.

Captura de pantalla del gráfico de uso de la herramienta y las métricas

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico. En el panel Uso de herramientas, puede mostrar cálculos del porcentaje de preguntas usadas para cada herramienta. Si el agente tiene agentes secundarios, puede elegir mostrar cálculos tanto para el agente principal como para los agentes secundarios (Todos), solo para el agente principal o solo para el agente secundario.