Avaliar um agente (Conversa com o Cliente) (pré-visualização)

[Este artigo é documentação de pré-lançamento e está sujeito a alterações.]

Use o separador Avaliar para medir o desempenho do seu agente num conjunto de perguntas de teste ou conversas antes de o publicar.

Descrição geral do separador Avaliar

Quando abre o separador Avaliar pela primeira vez, mostra um estado vazio: Avalie o desempenho do seu agente, com um botão Criar um conjunto de teste . Depois de criar um ou mais conjuntos de teste, o separador passa a mostrar uma tabela de conjuntos de Avaliação com as colunas Nome, Estado de Execução, Métodos de Teste e Última execução por, e um botão de Nova avaliação.

Criar um conjunto de teste

  1. No separador Avaliar , selecione Criar um conjunto de testes (ou Nova avaliação se já tiver conjuntos de teste).

  2. Escolha um Tipo de Dados:

    • Resposta única: Verifique como o agente responde a uma pergunta específica. Ideal para testes direcionados de capacidades.
    • Conversa (pré-visualização): Verifique a qualidade das interações mais longas entre agentes e utilizadores. Melhor para avaliações gerais.

  3. Escolha uma fonte de dados:

    • Carregar um ficheiro CSV: Arraste um ficheiro CSV para a área de upload ou selecione procurar. Utilize o modelo CSV fornecido para garantir que o conteúdo e a formatação do ficheiro estão corretos. O tamanho máximo do ficheiro é de 5 MB.
    • Conjunto rápido de perguntas: Gera 10 perguntas com base na descrição, instruções e capacidades do seu agente.
    • Conjunto completo de perguntas: Gere até 100 perguntas, usando conhecimentos ou tópicos como referência.
    • Use a conversa do seu chat de teste: Reúna os dados introduzidos e as respostas da sua sessão manual atual. (Mostrado como desativado/indisponível na captura de ecrã confirmada; verifique quando estiver disponível.)
    • Ou, escreve algumas perguntas tu próprio: adiciona manualmente perguntas e, opcionalmente, as respostas esperadas.

  4. Revê a tua lista de casos de teste. Utilize Adicionar perguntas para adicionar mais, seja selecionando Gerar 10 perguntas ou Escrever para adicionar uma manualmente.

Configurar o conjunto de testes

No painel Configurar conjunto de teste:

  • Tipo de dados: Mostra o tipo de dados que selecionou (por exemplo, resposta única).
  • Nome: Um nome obrigatório para o conjunto de teste.
  • Método de teste: Os critérios utilizados para verificar os dados. Selecione até cinco métodos. Selecione Adicionar método de teste para abrir o diálogo Selecionar um método de teste , que oferece:
    • Qualidade geral: As respostas cumprem padrões de qualidade, como relevância e completude. Não corresponde às respostas esperadas.
    • Comparar significado: As respostas têm o mesmo significado que a resposta esperada, mesmo que formuladas de forma diferente.
    • Personalizado: Verifica e rotula as respostas do agente de acordo com as instruções que definir.
    • Correspondência de palavras-chave: Procura palavras e expressões correspondentes.
    • Similaridade textual: Mede quão próximo está o texto da resposta de um agente da resposta esperada. Este método pode não detetar diferenças de significado.
    • Correspondência exata: As respostas do agente devem corresponder completamente à resposta esperada.
  • Versão do agente: Escolha se deve avaliar o rascunho atual ou o agente publicado (por exemplo, rascunho atual).
  • Perfil de utilizador: Selecione Gerir para abrir o diálogo Gerir perfil e ligações, onde seleciona ou adiciona uma conta autenticada. Ative Use estas definições para todas as minhas avaliações para reutilizar o perfil em futuros conjuntos de teste. Recomendamos o uso de um perfil autenticado com todas as ligações necessárias para que a avaliação possa testar todas as capacidades dos agentes.

Ver resultados

Depois de realizar uma avaliação, reveja os resultados para ver como o seu agente se saiu. Rever resultados de avaliação para um agente alimentado pelo harness de Conversa com o Cliente é semelhante a rever resultados para um agente alimentado pelo harness padrão. Para saber mais, consulte Executar avaliações e ver resultados.

  • Última atualização a