Monitorizar a visão geral do desempenho dos agentes (GitHub Copilot)

O separador Monitor oferece aos criadores uma visão contextual da saúde de produção de um agente. Use-o para compreender o uso, resultados, feedback dos utilizadores, fiabilidade e consumo de crédito do Copilot, para que possa identificar tendências e decidir onde melhorar o agente.

Note

As funcionalidades deste artigo são utilizadas por agentes ou fluxos de trabalho suportados pela estrutura do GitHub Copilot.

A faturação baseada no uso aplica-se à utilização, construção, teste e avaliação de agentes. Estas ações podem consumir Créditos Copilot. Saiba mais em Gerir custos para agentes alimentados pelo harness GitHub Copilot.

Note

Pode abrir o separador Monitor antes de publicar o seu agente. O uso em produção, o feedback e os dados de crédito aparecem depois de publicar o agente e de as pessoas começarem a utilizá-lo.

O que pode monitorizar?

O Monitor fornece uma visão resumida de um agente individual. Inclui:

  • Visão geral: Total de sessões, utilizadores, execuções autónomas, duração média, taxa de sucesso e taxa de falha.
  • Reações: Feedback positivo e negativo sobre as respostas dos agentes.
  • Créditos estimados totais utilizados: Os créditos consumidos pelo agente durante o período selecionado.
  • Sessões: Interações individuais, onde ocorreram e os créditos que consumiram.

Use o filtro de data para se focar num período de reporte específico. Os indicadores percentuais comparam cada métrica com o período anterior.

Operações do monitor e do agente

O Monitor foi concebido para criadores que precisam de uma visão rápida de um agente específico enquanto o constroem e melhoram. Para monitorização a nível da frota, governação, investigação detalhada e otimização operacional entre agentes e ambientes, utilize a experiência em operações de agentes.

Métricas de visão geral

A secção de Visão Geral mostra:

  • Total de sessões: O número de sessões de conversa durante o período selecionado.
  • Total de utilizadores: O número de utilizadores que interagiram com o agente durante o período selecionado.
  • Duração média: Duração média das sessões e corridas.
  • Taxa de sucesso: Até que ponto o agente concluiu com sucesso sessões e execuções.

Créditos estimados totais utilizados

O cartão de créditos mostra o total de créditos Copilot consumidos pelo agente durante o período selecionado e a alteração em relação ao período anterior. Ao contrário das estimativas em quase tempo real que vê em Preview e Evaluate, o valor apresentado em Monitor reflete todos os eventos processados até esse momento e é o valor final e fidedigno utilizado para faturação.

Quando está disponível uma discriminação, é apresentada uma estimativa da distribuição do consumo por tipo de experiência, incluindo utilização em produção, testes de pré-visualização, avaliações e outras interfaces suportadas. Use-o para perceber que atividades ou resultados consumiram os créditos.

Saiba mais em Compreender o uso estimado do crédito e Visão geral da faturação baseada no uso.

Reações

A secção Reações mostra o feedback dos utilizadores sobre as respostas dos agentes. O gráfico indica com que frequência os utilizadores selecionam polegar para cima (positivo) ou polegar para baixo (negativo) em cada resposta que recebem do seu agente.

Recursos do agente

A secção de Capacidades ajuda-o a compreender como os utilizadores interagem com o seu agente e onde a fiabilidade das respostas pode melhorar. Inclui:

  • Utilização de ferramentas: Que ferramentas o agente invocou durante a sessão.

Acompanhamento de sessões

A lista de sessões mostra sessões individuais de conversa com o seu agente. Cada sessão inclui:

  • Estado: Se a sessão está concluída, falhada ou em curso.
  • Duração: Quanto tempo durou a sessão.
  • Mensagens do utilizador: O número de mensagens trocadas.
  • Ferramentas utilizadas: Que ferramentas o agente invocou durante a sessão.

Filtre as sessões por estado, como falhadas, concluídas ou em curso, para encontrar rapidamente as sessões que precisam de atenção.

Selecione uma sessão para visualizar a sua transcrição completa, incluindo as mensagens do utilizador, as respostas do agente e detalhes sobre invocações de ferramentas e utilização da fonte de conhecimento.

Monitorização de erros

O separador Monitor ajuda-o a identificar e diagnosticar problemas:

  • Filtre as sessões por estado de Falhado ou Rejeitado para encontrar interações problemáticas.
  • Revise as transcrições das sessões para perceber o que correu mal.
  • Verifique o estado da ligação à ferramenta e os erros de autenticação.
  • Procure padrões em sessões falhadas que possam indicar um problema de configuração.

Para orientações passo a passo sobre como usar o separador Monitorar , consulte Monitorizar um agente.

Descarregue as transcrições das sessões

Pode descarregar as transcrições das sessões alguns minutos após o fim da sessão. Pode descarregar qualquer período nos últimos 29 dias. Pode descarregá-las no Dataverse usando o portal Power Apps e como transcrições de conversas de sessão utilizando a aplicação Copilot Studio. Pode demorar até uma hora após o fim da sessão analítica até que os dados relacionados apareçam no separador Monitor.

Sessões de revisão

A lista de sessões mostra as interações recentes com o seu agente.

Note

A lista de sessões mostra apenas as sessões dos últimos 28 dias.

Dependendo da interação, a lista pode mostrar:

  • Nome: O utilizador associado à interação.
  • Data: Quando ocorreu a interação.
  • Canal: O canal ou superfície do Copilot Studio onde a interação ocorreu.
  • Número de mensagens: O número de mensagens na interação.
  • Duração: A duração da interação.
  • Créditos usados: Os créditos do Copilot consumidos pela interação.

Abra a página de detalhes da sessão para rever métricas agregadas da sessão, filtrar a lista, pesquisar sessões e descarregar os dados das sessões.

Para outras opções de exportação de transcrições, saiba mais em Download agent session transcripts.

Para orientação passo a passo, saiba mais em Monitorizar e analisar o desempenho dos agentes.