A otimização de um agente não termina no lançamento. O Copilot Studio fornece análises detalhadas que ajudam a compreender como os utilizadores interagem com o seu agente, onde as conversas são bem-sucedidas ou param, e o quão bem o agente utiliza as suas ferramentas e conhecimentos. Este artigo fornece uma lista de verificação estruturada e boas práticas para ajudar a avaliar e melhorar continuamente o seu agente.
Validar a sua preparação para melhoramento e análises
Use estas perguntas durante as avaliações regulares, tais como cerimónias de sprint, otimizações mensais ou preparação pré-lançamento.
Temas e padrões de intenção do utilizador
| Concluído? |
Tarefa |
| ✓ |
Está a rever temas para identificar agrupamentos de perguntas dos utilizadores e intenções emergentes? |
| ✓ |
Está a adicionar temas frequentes ao seu registo de tarefas pendentes para melhoramentos futuros? |
Resultados da conversação
| Concluído? |
Tarefa |
| ✓ |
Está a analisar conversações resolvidas, escaladas, abandonadas e sem cativação para identificar as áreas de melhoria? |
| ✓ |
Está a garantir que as conversas terminam com o tópico Fim da Conversa para que os resultados sejam registados corretamente? |
| ✓ |
Está a investigar picos em sessões abandonadas para identificar respostas pouco claras ou falta de lógica? |
| ✓ |
Está a validar que os caminhos de escalamento só são acionados quando apropriado? |
Taxa de resposta gerada e qualidade
| Concluído? |
Tarefa |
| ✓ |
Revê a taxa de resposta gerada para identificar lacunas de conhecimento ou cobertura insuficiente? |
| ✓ |
Verifica as métricas de qualidade das respostas, como integridade, fundamentação e relevância? |
| ✓ |
Investiga respostas de baixa qualidade e aborda as razões identificadas nas análises? |
| Concluído? |
Tarefa |
| ✓ |
Monitoriza com que frequência as ferramentas e ações são invocadas e se têm sucesso ou falham? |
| ✓ |
Identifica as ferramentas subutilizadas ou propensas a erros e determina se devem ser otimizadas ou removidas? |
| ✓ |
Valida que as ferramentas utilizadas na orquestração generativa funcionam de forma fiável? |
| Concluído? |
Tarefa |
| ✓ |
Revê as taxas de utilização e erro de todas as fontes de conhecimento? |
| ✓ |
Prioriza as atualizações para fontes de conhecimento com altas taxas de erro ou resultados inconsistentes? |
| ✓ |
Verifica se as fontes de conhecimento corretas suportam os cenários para os quais se destinam? |
Satisfação e comentários dos utilizadores
| Concluído? |
Tarefa |
| ✓ |
Está a recolher o sentimento dos utilizadores através de inquéritos de polegar para cima/baixo e CSAT? |
| ✓ |
Está a analisar as tendências dos comentários para detetar respostas pouco claras ou fluxos de conversa fracos? |
| ✓ |
Está a adicionar padrões de interação de baixa satisfação ao seu registo de tarefas para reformulação? |
Chamadas de melhores práticas
-
Tratar a análise como um ciclo iterativo de melhoramento: utilize a análise para impulsionar mudanças incrementais. Utilize temas, respostas incompletas e padrões de falhas para orientar o planeamento de sprints e priorizar itens do registo de tarefas pendentes.
-
Concentrar-se na qualidade dos resultados, não apenas no volume: um sistema com bom estado de funcionamento maximiza as conversas resolvidas e minimiza os escalamentos e os abandonos. Utilize as relações de resultados como um indicador primordial de clareza e eficácia.
-
Reforçar as fontes de conhecimento de forma proativa: taxas elevadas de erro ou respostas de baixa qualidade geralmente indicam fontes de conhecimento pouco claras, desatualizadas ou sem correspondência. Atualize e reestruture estas fontes frequentemente para uma melhor fundamentação.
-
Otimizar as ferramentas para estabilidade e sucesso: chamadas pouco fiáveis de ferramentas prejudicam a confiança. Monitorize as taxas de sucesso e refatorize as ações que frequentemente falham ou devolvem dados inconsistentes.
-
Utilizar os temas para identificar novas oportunidades: os temas realçam intenções emergentes. Utilize-os para informar novos tópicos, fontes de conhecimento ou necessidades de integração.
-
Garanta que as conversações terminam de forma clara: Utilize sempre o tópico do Fim da conversação para capturar a resolução e o CSAT. Sem este tópico, as análises tornam-se incompletas e enganadoras.
-
Avaliar separadamente os agentes autónomos e os agentes iniciados pelo utilizador: os agentes autónomos dependem fortemente de acionadores e cadeias de ferramentas. Reveja os resultados de execução e os acionadores separadamente dos fluxos iniciados pelo utilizador.
-
Monitorizar o sentimento ao longo do tempo: os comentários isolados são úteis, mas as tendências de sentimento ao longo de várias semanas revelam problemas sistémicos. Investigue quedas persistentes de imediato.