Avaliar um agente (pré-visualização)

[Este artigo é documentação de pré-lançamento e está sujeito a alterações.]

O separador Avaliar na nova experiência do agente permite testes estruturados e repetíveis para o seu agente. Use avaliações para medir a qualidade do agente em vários casos de teste, acompanhar melhorias ao longo do tempo e validar o comportamento do seu agente antes de o publicar.

Importante

  • Esta é uma funcionalidade de pré-visualização pronta para produção.
  • As funcionalidades de pré-visualização prontas para a produção estão sujeitas aos termos de utilização suplementares.

O que é a avaliação de agentes?

A avaliação de agentes permite testar sistematicamente as respostas do seu agente com base em padrões de qualidade. Em vez de testar cada cenário manualmente no separador Pré-visualização , crie avaliações com conversas de teste, defina como medir as respostas e execute as avaliações para obter resultados quantitativos.

A avaliação ajuda-o a responder a perguntas como estas:

  • O agente responde corretamente num conjunto de cenários esperados?
  • Uma alteração na configuração melhorou ou piorou a qualidade das respostas?
  • O agente invoca ferramentas quando deve?

Conceitos principais

Os seguintes conceitos são fundamentais ao realizar avaliações no Copilot Studio:

Conversas

Uma conversa é um caso de teste que representa um cenário que pretende que o seu agente trate. Cada conversa inclui as mensagens do utilizador e, opcionalmente, as respostas esperadas do agente. Organize as conversas em avaliações. Cria conversas manualmente, gera-as com IA ou carrega-as a partir de um ficheiro CSV.

Avaliações

Uma avaliação é um conjunto de testes nomeado que combina conversas com um método de teste. Crie avaliações a partir do separador Avaliar, adicione conversas e execute-as para obter resultados pontuados.

Métodos de teste

Os métodos de teste definem como as respostas do agente são pontuadas. Atualmente, o único método de teste disponível é a qualidade geral, uma avaliação baseada em IA para determinar se as respostas cumprem padrões de qualidade, como relevância e completude.

Note

O método de teste de Qualidade geral não compara as respostas às respostas esperadas.

Perfil de utilizador

As avaliações e ligações usadas pelas ferramentas são executadas no contexto do perfil do utilizador com sessão iniciada atualmente. Não podes estabelecer ligação com outro utilizador enquanto tens sessão iniciada. Para fazer uma avaliação como utilizador diferente, saia da sessão, inicie sessão com a conta desse utilizador e depois inicie a avaliação.

Utilização do crédito

Avalie as superfícies estimadas no uso do Crédito Copilot ao longo do processo de testes, para que possa compreender o custo da qualidade dos testes antes de executar conjuntos de testes maiores. Pode ver que experiências usam créditos, o total estimado para cada execução de avaliação, uma discriminação entre a geração e a pontuação de respostas e a utilização de créditos ao nível de cada caso de teste. Saiba mais em Compreender o uso estimado do crédito.

Fluxo de trabalho de avaliação

Siga estes passos para avaliar um agente:

  1. Criar uma avaliação: no separador Avaliar, inicie uma nova avaliação. Saiba mais em Criar um conjunto de testes para um agente.
  2. Adicionar conversas: adicione conversas de teste escrevendo-as manualmente, gerando-as com IA ou carregando um ficheiro CSV.
  3. Configurar: Nomeie a avaliação, selecione um método de teste e escolha a versão do agente.
  4. Execute a avaliação: Selecione Avaliar para executar o teste e aguarde pelos resultados. Saiba mais em Fazer uma avaliação para um agente.
  5. Rever os resultados: analise as pontuações e identifique as áreas de melhoria. Saiba mais em Ver resultados de avaliação para um agente.
  6. Iterar: Ajuste as instruções, o conhecimento ou as ferramentas do seu agente e, em seguida, volte a executar a avaliação para medir o impacto.

Limitations

As avaliações só são suportadas para agentes configurados para utilizar Sem autenticação ou Autenticar com a Microsoft. Agentes configurados para Autenticar manualmente não são suportados.

  • Última atualização a