Monitorar agentes autônomos

A página Monitor no Copilot Studio oferece uma visão agregada da saúde geral do seu agente com gatilhos de eventos ao longo das sessões. A página também exibe uma área de Visão Geral que fornece métricas de alto nível e indicadores-chave de desempenho (KPI) para seu agente, uma área de Poupança que analisa a economia de tempo e custos atribuída ao seu agente ou às ferramentas do seu agente, e uma área de Resumo que fornece insights analíticos importantes sobre o desempenho do seu agente.

Para saber mais sobre:

• As áreas Resumo e Visão geral, consulte Visão geral do monitor.
• Na área de Poupança , veja Monitorar economia de tempo e custos para corretores.

Há quatro áreas principais em que se concentrar ao revisar e melhorar o desempenho do agente autônomo:

• Resultados da execução: saber o resultado final de uma sessão iniciada por um gatilho ajuda você a começar a identificar onde seu agente está tendo sucesso e onde ele precisa de melhorias.
• Uso do gatilho: ver quais gatilhos são usados e com que frequência ajuda você a entender o que seu agente está fazendo e por quê.
• Uso de ferramentas: aprender com que frequência as ferramentas são usadas e com que frequência elas são bem-sucedidas pode ajudá-lo a entender se essas ferramentas são úteis e bem-sucedidas.
• Uso da fonte de conhecimento: aprender com que frequência as fontes de conhecimento individuais são usadas e com que frequência o agente retornou erros.

Para alterar o intervalo de tempo, selecione o menu suspenso de intervalo de tempo na parte superior da página Monitor. Você pode exibir a análise de sessões que ocorreram nos últimos 360 dias.

Resultados da execução

A seção Resultados da execução mostra um gráfico que acompanha o tipo de resultado de cada sessão.

Para baixar dados do resultado da execução (dados visualizados no gráfico), selecione o ícone do menu e selecione Baixar CSV.

Você também pode ver um detalhamento das durações das sessões. Selecione Ver detalhes no gráfico Resultados da execução. Um painel lateral é aberto mostrando a duração média das execuções bem-sucedidas e das sessões com falhas, e como a duração das sessões mudou ao longo do tempo.

Longas durações de sessão podem causar atrasos em fluxos de trabalho dos quais o agente faz parte. Você pode aumentar a velocidade do agente dando instruções mais específicas no nível do gatilho ou do agente.

Uso do gatilho

A seção Uso do gatilho mostra um gráfico e métricas que controlam a frequência com que cada gatilho iniciou uma sessão. O gráfico mostra a mudança no uso do gatilho com o passar do tempo.

Selecione Ver detalhes para exibir um detalhamento de todos os gatilhos usados durante o período selecionado, os eventos mais comuns que dispararam uma execução e quais eventos resultaram em mais execuções com falha.

Você pode usar essas informações para segmentar execuções específicas para melhorias e entender a que tipo de eventos os agentes respondem mais.

Uso de ferramentas

A seção Uso de ferramentas mostra um gráfico e métricas que acompanham com que frequência suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com sucesso. Também mostra indicadores de tendência sobre a frequência com que seu agente usa cada ferramenta e a porcentagem de ferramentas chamadas usadas com sucesso.

O gráfico exibe as cinco principais ferramentas usadas durante o período de data definido na parte superior da página Análise .

Na legenda abaixo do gráfico, focalize qualquer uma das ferramentas para realçar essa ferramenta no gráfico.

Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, junto com indicadores de tendência, selecione Ver detalhes no gráfico. No painel Uso de ferramentas, você pode exibir cálculos da porcentagem de perguntas usadas para cada ferramenta. Se seu agente tiver agentes filho, você pode escolher exibir os cálculos tanto para o agente principal quanto para os agentes filho (Todos), apenas para o Agente principal ou apenas para o Agente filho.

Uso da fonte de conhecimento

A seção uso da fonte de conhecimento fornece informações sobre como seu agente usa fontes de conhecimento e a eficiência com que essas fontes dão suporte ao agente. O painel mostra as cinco principais fontes de conhecimento usadas no intervalo de datas definido, incluindo o tipo de cada fonte, perguntas totais, qualidade da resposta e reações. Clicar em qualquer uma das fontes listadas abre uma página de todas as perguntas do usuário que referenciaram essa origem. Selecione o botão Ver tudo no canto superior direito do painel para abrir uma página de todo o conhecimento usado pelo agente.

Selecione Ver detalhes para abrir um painel lateral com tendência de uso da fonte de dados de conhecimento e taxas de erro. Você pode usar esses gráficos para identificar quais fontes de conhecimento funcionam bem para ajudar usuários e quais direcionar para melhorias.

No painel lateral, selecione Todos para exibir métricas tanto do agente principal quanto dos agentes filho, Agente principal para métricas apenas sobre o agente principal, ou Agente filho para métricas apenas sobre agentes filho.

• A tendência de uso de fonte é um gráfico da frequência com que suas fontes de conhecimento foram usadas pelo seu agente durante o período de tempo selecionado. Na legenda abaixo do gráfico, passe o mouse sobre qualquer uma das fontes de conhecimento para realçar essa fonte de conhecimento no gráfico, selecione as fontes de conhecimento para habilitá-la/desabilitá-la na exibição do gráfico.
• Erros mostra a porcentagem de sessões que usaram cada tipo de fonte de conhecimento (por exemplo, SharePoint) que resultou em um erro.