Avaliar um agente (versão prévia)

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

A guia Evaluate na nova experiência de agente oferece testes estruturados e repetíveis para o seu agente. Use avaliações para medir a qualidade do agente em vários casos de teste, acompanhar melhorias ao longo do tempo e validar o comportamento do seu agente antes de publicá-lo.

Importante

  • Esta é uma versão prévia do recurso pronta para produção.
  • As versões prévias do recurso prontas para produção estão sujeitas aos termos de uso complementares.

O que é avaliação de agente?

A avaliação de agente permite que você teste sistematicamente as respostas do seu agente em relação aos padrões de qualidade. Em vez de testar cada cenário manualmente na aba Prévia , crie avaliações com conversas de teste, defina como medir respostas e execute as avaliações para obter resultados quantitativos.

A avaliação ajuda você a responder perguntas como estas:

  • O agente responde corretamente em uma variedade de cenários esperados?
  • Uma mudança de configuração melhorou ou degradou a qualidade da resposta?
  • O agente chama ferramentas quando deveria?

Conceitos principais

Os seguintes conceitos são fundamentais ao executar avaliações no Copilot Studio:

Conversas

Uma conversa é um caso de teste que representa um cenário que você deseja que seu agente trate. Cada conversa inclui mensagens de usuários e, opcionalmente, respostas esperadas do agente. Organize as conversas em avaliações. Crie conversas manualmente, gere-as com IA ou faça upload de um arquivo CSV.

Avaliações

Uma avaliação é um conjunto de teste nomeado que combina conversas com um método de teste. Você cria avaliações na aba Avaliar, adiciona conversas a elas e depois as executa para gerar resultados com pontuação.

Métodos de teste

Métodos de teste definem como as respostas do agente são pontuadas. Atualmente, o único método de teste disponível é a qualidade geral, uma avaliação baseada em IA para determinar se as respostas atendem a padrões de qualidade, como relevância e completude.

Note

O método de teste de Qualidade geral não compara respostas com respostas esperadas.

Perfil do usuário

Avaliações e conexões usadas por ferramentas executadas com o perfil de usuário atualmente conectado. Você não pode se conectar com outro usuário enquanto estiver logado. Para rodar uma avaliação como um usuário diferente, faça logout, faça login com a conta desse usuário e então comece a avaliação.

Uso de crédito

A avaliação exibe o uso estimado de Créditos do Copilot ao longo do processo de teste, para que você possa entender o custo dos testes de qualidade antes de executar conjuntos de testes maiores. Você pode ver quais experimentos usam créditos, um total estimado para cada execução de avaliação, uma divisão entre gerar e pontuar respostas e o uso de créditos no nível de cada caso de teste. Saiba mais em Entender o uso estimado de crédito.

Fluxo de trabalho de avaliação

Siga estes passos para avaliar um corretor:

  1. Criar uma avaliação: na aba Avaliar, inicie uma nova avaliação. Saiba mais em Criar um conjunto de testes para um agente.
  2. Adicionar conversas: adicione conversas de teste escrevendo-as manualmente, gerando-as com IA ou carregando um arquivo CSV.
  3. Configurar: Nomeie a avaliação, selecione um método de teste e escolha a versão do agente.
  4. Execute a avaliação: selecione Avaliar para rodar o teste e aguarde os resultados. Saiba mais em Executar uma avaliação para um agente.
  5. Revisar os resultados: analise as pontuações e identifique áreas para melhoria. Saiba mais em Veja os resultados das avaliações de um corretor.
  6. Iterar: Ajuste as instruções, conhecimentos ou ferramentas do seu agente e depois execute a avaliação novamente para medir o impacto.

Limitations

Avaliações suportam apenas agentes configurados para usar Sem autenticação ou Autenticar com a Microsoft. Agentes configurados para Autenticar manualmente não são suportados.

  • Última atualização em