Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Note
Este artigo descreve recursos usados em agentes ou fluxos de agentes baseados no harness padrão.
Use conjuntos de teste para avaliar e aprimorar como seu agente lida com cenários de resposta no mundo real. Este artigo explica como modificar o nome e as configurações de um conjunto de teste, gerenciar o perfil de usuário e as conexões usadas para autenticação, editar ou excluir casos de teste individuais e remover conjuntos ou resultados inteiros de teste. Essas etapas ajudam a garantir que as avaliações reflitam os contextos certos dos usuários e mantenham acesso seguro a fontes de conhecimento e ferramentas.
Você tem a opção de três métodos de teste, também conhecidos como classificadores, para avaliar as respostas do agente: qualidade, similaridade e correspondência de texto. Para obter mais informações sobre os diferentes métodos de teste, consulte Métodos de teste.
Editar os detalhes de um conjunto de teste
Você pode alterar os detalhes de um conjunto de teste, como qual conta ela usa para autenticação e os métodos de teste utilizados.
Acesse a página de Avaliação do seu agente.
Selecione o conjunto de testes.
No conjunto de testes, selecione o caso de teste que você deseja editar.
Opcionalmente, mude o nome do conjunto de teste.
Adicione ou modifique os métodos de teste. Cada método de teste mede valores diferentes e requer configurações distintas. Para aprender como configurar cada método de teste, veja Escolher métodos de teste.
Método de teste Medidas Tipo de conjunto de testes Pontuação Configurações Qualidade geral Quão boa é a resposta de um caso de teste com base em qualidades específicas Resposta única ou conversa Avaliado em uma escala de 0 a 100% None Segurança de conteúdo Se a resposta do caso de teste contém conteúdo prejudicial, como ódio, violência, automutilação ou conteúdo sexual Resposta única ou conversa Aprovado/reprovado Tipo de conteúdo, Nível de segurança de conteúdo permitido Comparar significado Quão bem o significado da resposta do caso de teste corresponde à resposta esperada Resposta única Avaliado em uma escala de 0 a 100% Pontuação de aprovação, resposta esperada Uso da ferramenta Se o caso de teste usou todos ou quaisquer recursos esperados Resposta única Aprovado/reprovado Capacidades esperadas Correspondência de palavras-chave Se o caso de teste usou todas ou algumas das palavras-chave ou frases esperadas Resposta única ou conversa Aprovado/reprovado Palavras-chave ou frases esperadas Similaridade de texto Quão bem o texto da resposta do caso de teste corresponde à resposta esperada Resposta única Avaliado em uma escala de 0 a 100% Pontuação de aprovação, resposta esperada Correspondência exata Se a resposta do caso de teste corresponde exatamente à resposta esperada Resposta única Aprovado/reprovado Resposta esperada Personalizado Se a resposta do caso de teste atende aos seus critérios ou expectativas definidos. Resposta única ou conversa Passar/falhar (passa os critérios de rótulo definidos) Nome, instruções de avaliação, rótulos Selecione o perfil atual para gerenciar suas conexões. Testes automatizados utilizam a autenticação do usuário atualmente logado. Saiba mais em Gerenciar perfis de usuário e conexões.
Note
Quando Copilot Studio gera casos de teste ou executa uma avaliação, ele usa as credenciais de autenticação de uma conta conectada para acessar as fontes de conhecimento e as ferramentas do agente. Os casos de teste gerados podem incluir dados confidenciais que a conta conectada pode acessar. Qualquer fabricante com acesso ao agente também pode visualizar os conjuntos de teste vinculados a esse agente.
Gerenciar perfis de usuário e conexões
As ferramentas executam avaliações e conexões usando o perfil de usuário atualmente logado. Você não pode escolher ou se conectar usando outro usuário enquanto estiver logado. Para rodar uma avaliação como um usuário diferente, faça logout do Copilot Studio, faça login usando a conta desse usuário e então execute a avaliação.
Importante
Você pode revisar e autenticar os conectores que seu agente usa para o usuário atualmente logado. Configure, revise e salve essas conexões antes de executar uma avaliação.
Os resultados dos testes mostram qual perfil de usuário foi utilizado.
Note
Quando Copilot Studio gera casos de teste ou executa uma avaliação, ele usa as credenciais de autenticação de uma conta conectada para acessar as fontes de conhecimento e as ferramentas do agente. Os casos de teste gerados podem incluir dados confidenciais que a conta conectada pode acessar. Qualquer fabricante com acesso ao agente também pode visualizar os conjuntos de teste vinculados a esse agente.
Avaliações de agentes que utilizam autenticação de usuário exigem acesso por meio do conector Microsoft Copilot Studio. Se seu administrador desligar essa conexão, você não pode rodar testes usando a ferramenta de avaliação. Para obter mais informações, consulte Copilot Studio conectores e grupos de dados.
Para gerenciar conexões para o usuário atualmente logado:
Abra um conjunto de testes e então selecione o perfil atual.
Para conexões com aviso, selecione a conexão. Mude a conexão existente para uma conexão funcionando, selecione Reconectar para tentar restabelecer a conexão existente, ou selecione Criar nova conexão para tentar uma nova conexão. As conexões em funcionamento são marcadas com uma marca de verificação verde.
Para novas conexões, insira os detalhes solicitados e selecione Conectar.
Quando todas as conexões estiverem funcionando, selecione Salvar.
Quando o pop-up de Gerenciar perfil e conexões desaparecer, selecione Salvar para atualizar o conjunto de testes com o perfil de usuário atual e as conexões.
Exclua um conjunto de teste ou resultado de teste
Você pode deletar um caso de teste ou conjunto de testes que não precisa mais.
- Acesse a página de Avaliação do seu agente.
- Na seção de conjuntos de teste , exclua um conjunto de teste fazendo um dos seguintes passos:
- Selecione os três pontos (...) no cartão do conjunto de teste e depois selecione Excluir.
- Selecione o conjunto de teste para abri-lo, depois selecione os três pontos (...) no painel Configurar conjunto de teste e então selecione Excluir.
- Na seção Resultados Recentes , exclua um resultado de teste seguindo um dos seguintes passos:
- Passe o mouse sobre o resultado do teste que você quer deletar, selecione os três pontos (...) e depois selecione Excluir teste.
- Selecione o resultado do teste para abri-lo, depois selecione os três pontos (...) no painel de resumo de Avaliação e, em seguida, selecione Excluir.