Avalie um agente (Conversa com Clientes) (prévia)

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

Use a aba Avaliar para medir o desempenho do seu agente em um conjunto de perguntas ou conversas de teste antes de publicá-lo.

Visão geral da guia Avaliar

Quando você abre a aba Avaliar pela primeira vez, ela mostra um estado vazio: Avalie o desempenho do seu agente, com um botão Criar um conjunto de teste . Após criar um ou mais conjuntos de teste, a aba mostra uma tabela de conjuntos de avaliação com as colunas Nome, status de execução, métodos de teste e Última execução feita por, além de um botão Nova avaliação.

Criar um conjunto de testes

  1. Na aba Avaliar , selecione Criar um conjunto de teste (ou Nova avaliação , se você já tiver conjuntos de teste).

  2. Escolha um tipo de dados:

    • Resposta única: Veja como o agente responde a uma pergunta específica. Ideal para testes de capacidade direcionados.
    • Conversa (prévia): Verifique a qualidade das interações mais longas dos agentes com os usuários. Melhor para avaliações gerais.

  3. Escolha uma fonte de dados:

    • Faça upload de um arquivo CSV: Arraste um arquivo CSV para a área de upload ou selecione procurar. Use o modelo CSV fornecido para garantir que o conteúdo e a formatação do arquivo estejam corretos. O tamanho máximo do arquivo é de 5 MB.
    • Conjunto rápido de perguntas: Gere 10 perguntas com base na descrição, instruções e capacidades do seu agente.
    • Conjunto completo de questões: Gerar até 100 perguntas, usando conhecimento ou tópicos como referência.
    • Use sua conversa de teste no chat: Reúna as entradas e respostas da sua sessão manual atual. (Mostrado como desativado/indisponível na captura de tela confirmada; verifique quando ficar disponível.)
    • Ou, escreva algumas perguntas você mesmo: adicione manualmente perguntas e, opcionalmente, as respostas esperadas.

  4. Revise sua lista de casos de teste. Use Adicionar perguntas para adicionar mais, seja selecionando Gerar 10 perguntas ou Escrever para adicionar uma manualmente.

Configurar o conjunto de testes

No painel Configurar conjunto de teste:

  • Tipo de dado: Mostra o tipo de dado que você selecionou (por exemplo, resposta única).
  • Nome: Nome obrigatório para o conjunto de teste.
  • Método de teste: O critério usado para verificar os dados. Selecione até cinco métodos. Selecione Adicionar método de teste para abrir a janela Selecionar um método de teste , que oferece:
    • Qualidade geral: As respostas atendem a padrões de qualidade, como relevância e completude. Não se compara às respostas esperadas.
    • Comparar significado: As respostas têm o mesmo significado da resposta esperada, mesmo que formuladas de forma diferente.
    • Personalizado: Verifica e rotula as respostas do agente conforme as instruções que você definir.
    • Correspondência de palavras-chave: Procura palavras e frases correspondentes.
    • Similaridade de texto: Mede o quão próximo está o texto da resposta de um agente da resposta esperada. Esse método pode não perceber diferenças de significado.
    • Correspondência exata: As respostas do agente devem corresponder completamente à resposta esperada.
  • Versão do agente: Escolha se deve avaliar o rascunho atual ou o agente publicado (por exemplo, rascunho atual).
  • Perfil de usuário: Selecione Gerenciar para abrir a caixa de diálogo Gerenciar perfil e conexões, onde você seleciona ou adiciona uma conta autenticada. Ative Use estas configurações para todas as minhas avaliações para reutilizar o perfil em futuros conjuntos de teste. Recomendamos usar um perfil autenticado com todas as conexões necessárias para que a avaliação possa testar todas as capacidades dos agentes.

Exibir resultados

Depois de realizar uma avaliação, revise os resultados para ver como seu agente se saiu. Revisar os resultados de avaliação de um agente alimentado pelo harness Customer Conversation é semelhante a revisar resultados para um agente alimentado pelo harness padrão. Para saber mais, veja Executar avaliações e ver resultados.

  • Última atualização em