Otimizar agentes para minimizar a latência

Este artigo compartilha algumas práticas importantes e ajuda a otimizar os agentes que dependem de informações de fontes externas, para reduzir o tempo de espera dos clientes durante as conversas.

Defina um atraso máximo de timeout para variáveis globais definidas externamente. Para agentes com variáveis globais configuradas para receber contexto de fontes externas, defina o valor opcional de timeout para que os seus agentes não fiquem bloqueados por mais tempo.

Limita o contexto da conversa e o tamanho da saída da ferramenta. Grandes históricos de conversas e grandes resultados de ferramentas aumentam a quantidade de informação que o modelo tem de processar e podem aumentar o tempo de resposta. Configure as ferramentas para devolver apenas os dados necessários para a tarefa atual. Ao resolver problemas com a latência, compare o tempo de resposta com uma nova conversa para determinar se o contexto acumulado contribui para o atraso.

Deixe o usuário saber que o agente precisa de um momento. O agente não responder por mais de alguns segundos pode fazer o usuário se perguntar se o sistema está funcionando ou não. Considere enviar uma breve mensagem no início do tópico aplicável indicando que o agente está procurando informações. Desta forma, o usuário sabe que a operação pode demorar um pouco, e as coisas estão funcionando.

Minimize e otimize operações longas fora do agente. Chamar sistemas externos para procurar informações para personalizar uma solicitação pode proporcionar uma ótima experiência, mas também pode levar um tempo desconfortavelmente longo. Se essa personalização for necessária, certifique-se de que a chamada seja otimizada e que o sistema que está sendo chamado seja escalável.

Use nós de solicitação HTTP para solicitações rápidas. O uso de um fluxo Power Automate pode tornar possível concluir operações sofisticadas facilmente, no entanto, pode envolver uma sobrecarga considerável. Se precisar apenas de uma única chamada de pesquisa externa, o nó Pedido HTTP pode ser uma opção mais leve para estas operações simples.

Para as chamadas do Power Automate, utilize o dashboard do Power Automate para verificar as durações dos pedidos. O Copilot Studio não fornece insights sobre quanto tempo demoram operações realizadas fora do agente, como chamadas ao Power Automate. Portanto, pode ser difícil entender onde o tempo está sendo gasto. No Copilot Studio, estas chamadas externas são síncronas, o que significa que nenhuma atividade adicional acontece na conversação até que um fluxo do Power Automate seja concluído. Considere usar o painel Power Automate para seu fluxo. Este painel pode fornecer informações sobre as taxas de sucesso e falha das operações e quanto tempo elas demoram.

  • Última atualização a