Otimizar um agente não termina com o lançamento. O Copilot Studio oferece análises detalhadas que ajudam você a entender como os usuários interagem com seu agente, onde as conversas têm sucesso ou falham, e quão bem o agente utiliza suas ferramentas e conhecimento. Este artigo fornece uma lista de verificação estruturada e melhores práticas para ajudar você a avaliar e aprimorar continuamente seu agente.
Valide Sua Prontidão para Melhorias e Análises
Use essas perguntas durante revisões regulares, como cerimônias de sprint, otimizações mensais ou preparação de pré-lançamento.
Temas e Padrões de Intenção dos Usuários
| Pronto? |
Tarefa |
| ✓ |
Você está revisando temas para identificar grupos de perguntas dos usuários e intenções emergentes? |
| ✓ |
Você está adicionando temas recorrentes ao seu backlog para melhorias futuras? |
Resultados da conversa
| Pronto? |
Tarefa |
| ✓ |
Você está analisando conversas resolvidas, escaladas, abandonadas e não engajadas para encontrar áreas de melhoria? |
| ✓ |
Você está garantindo que as conversas terminem com o tópico "Fim da Conversa" para que os resultados sejam capturados corretamente? |
| ✓ |
Você está investigando picos em sessões abandonadas para identificar respostas pouco claras ou lógica ausente? |
| ✓ |
Você está validando se os caminhos de escalonamento só são acionados quando apropriado? |
Taxa de respostas geradas e qualidade
| Pronto? |
Tarefa |
| ✓ |
Você revisa a taxa de resposta gerada para identificar lacunas de conhecimento ou falta de cobertura? |
| ✓ |
Você verifica métricas de qualidade das respostas, como completude, embasamento e relevância? |
| ✓ |
Você investiga respostas de baixa qualidade e aborda os motivos identificados na análise? |
| Pronto? |
Tarefa |
| ✓ |
Você monitora com que frequência ferramentas e ações são invocadas e se elas têm sucesso ou falham? |
| ✓ |
Você identifica ferramentas subutilizadas ou propensas a erros e determina se deve otimizá-las ou removê-las? |
| ✓ |
Você verifica se as ferramentas usadas em orquestração generativa apresentam desempenho confiável? |
| Pronto? |
Tarefa |
| ✓ |
Você revisa o uso e as taxas de erro de todas as fontes de conhecimento? |
| ✓ |
Você prioriza atualizações para fontes de conhecimento com altas taxas de erro ou resultados inconsistentes? |
| ✓ |
Você verifica se as fontes de conhecimento corretas apoiam os cenários para os quais são destinadas? |
Satisfação e feedback dos usuários
| Pronto? |
Tarefa |
| ✓ |
Você está coletando o sentimento do usuário por meio de votos positivos e negativos e pesquisas CSAT? |
| ✓ |
Você está analisando tendências de feedback para detectar respostas pouco claras ou fluxos fracos de conversa? |
| ✓ |
Você está adicionando padrões de interação de baixa satisfação à lista de pendências para novo projeto? |
Textos explicativos de melhores práticas
-
Trate a análise como um ciclo iterativo de melhoria: Use a análise para impulsionar mudanças incrementais. Use temas, respostas incompletas e padrões de falha para informar o planejamento de sprints e priorizar itens do backlog.
-
Foque na Qualidade dos Resultados, Não Apenas no Volume: Um sistema saudável maximiza conversas resolvidas e minimiza escaladas e abandonos. Use as proporções de resultados como um indicador principal de clareza e eficácia.
-
Reforce proativamente as fontes de conhecimento: Alta taxa de erro ou respostas de baixa qualidade frequentemente apontam para fontes de conhecimento pouco claras, desatualizadas ou incompatíveis. Atualize e reestruture essas fontes com frequência para melhor embasamento.
-
Otimize ferramentas para estabilidade e sucesso: chamadas de ferramentas pouco confiáveis degradam a confiança. Acompanhe as taxas de sucesso e refatore as ações que frequentemente falham ou retornam dados inconsistentes.
-
Use temas para identificar novas oportunidades: Temas destacam intenções emergentes. Use-os para orientar novos tópicos, fontes de conhecimento ou necessidades de integração.
-
Garanta o encerramento adequado das conversas: sempre use o tópico Encerramento da Conversa para capturar resolução e CSAT. Sem esse tópico, as análises ficam incompletas e enganosas.
-
Separe a avaliação de agentes autônomos e iniciados pelo usuário: agentes autônomos dependem fortemente de gatilhos e sequências de ferramentas. Revise os resultados da execução e os gatilhos separadamente dos fluxos iniciados pelo usuário.
-
Acompanhe o sentimento ao longo do tempo: feedback isolado é útil, mas tendências de sentimento de várias semanas revelam problemas sistêmicos. Investigue quedas persistentes no início.