Exiba os resultados da avaliação de um agente (versão preliminar)

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

Após realizar uma avaliação, revise os resultados para ver como seu agente se saiu em todas as conversas. Os resultados mostram pontuações de qualidade e permitem que você abra conversas individuais para ver as respostas do agente.

Importante

  • Esta é uma versão prévia do recurso pronta para produção.
  • As versões preliminares prontas para produção estão sujeitas a termos de uso complementares.

Visualizar os resultados da execução

Para ver os resultados das corridas:

  1. Abra seu agente no Copilot Studio.
  2. Selecione a guia Avaliar.
  3. Nos resultados recentes, selecione uma avaliação com um teste anterior para visualizar seus resultados.

Os resultados mostram as seguintes informações:

  • Resultado do teste: Uma tabela que mostra cada conversa com o número de mensagens entre o usuário e o agente, e a pontuação geral de qualidade. Selecione uma conversa para ver mais detalhes.

  • Resumo da avaliação: um resumo da avaliação geral em todos os métodos de teste. Ela inclui as seguintes informações:

    • Pontuação: a pontuação geral das conversas que foram aprovadas pelo método de teste de qualidade geral.
    • Duração: o tempo que levou para concluir a avaliação.
    • Casos de teste: o número de casos de teste na sua avaliação geral.
    • Tipo de dado: o tipo de conjunto de testes. Apenas o tipo de dado Conversa está disponível.
    • Perfil de usuário: o perfil de usuário que realizou a avaliação. Apenas o perfil de usuário logado pode rodar avaliações.
    • Créditos utilizados: Os créditos estimados de Copilot usados na temporada, divididos pelos créditos usados para gerar respostas dos agentes e créditos usados para pontuar e avaliar respostas. Saiba mais em Entender o uso estimado de crédito.

Revise um caso de teste

Para revisar um caso de teste:

  1. Na página de resultados da execução, selecione uma conversa para exibir seus detalhes.

  2. Analise os detalhes do caso de teste:

    • Mensagens do usuário: as mensagens de teste enviadas ao agente.
    • Respostas do agente: As respostas reais do agente.
    • Qualidade geral: Como as respostas foram avaliadas no método de teste, como Aprovadas ou Reprovadas.
    • Créditos usados: Os créditos estimados de Copilot usados no caso de teste, para que você possa identificar quais cenários consomem mais recursos.

    Use essas informações para identificar onde seu agente precisa de melhorias.

Comparar execuções

Realize a mesma avaliação várias vezes para comparar resultados, acompanhar o progresso e o consumo de créditos Copilot:

  1. Na página de detalhes da avaliação, revise a lista de execuções com suas pontuações e horários.
  2. Compare as pontuações entre as execuções para ver se as alterações do agente melhoraram ou degradaram o desempenho.
  3. Compare os créditos estimados do Copilot usados em cada execução para ver o consumo entre execuções e estimar quantos créditos você pode precisar para conjuntos de testes maiores.
  4. Procure padrões. Por exemplo, se uma categoria de conversas consistentemente obtém notas baixas, essa área pode precisar de mais instruções ou conhecimento.

Exportar resultados

Resultados da avaliação de exportação para análise adicional:

  1. Na página de resultados da execução, selecione os três pontos (...) >Exportar resultados do teste. Você também pode selecionar uma avaliação específica e, em seguida, selecionar os três pontos (...) >Resultados do teste de exportação no canto superior direito.
  2. Baixe os resultados como um arquivo CSV que inclua todas as conversas, respostas e pontuações.

Agir com base nos resultados

Com base nos resultados da avaliação:

  • Última atualização em