Acompanhe as falhas de avaliação com modelos de registro estruturados

Documentar as falhas na avaliação contribui para a construção do conhecimento institucional, o que agiliza futuras sessões de triagem. Quando você se depara novamente com o mesmo tipo de falha, já sabe o que verificar primeiro, em vez de ter que redescobrir as mesmas causas fundamentais.

Use estes modelos estruturados para registrar a análise de falhas das sessões de triagem. Escolha a versão que melhor atende às necessidades e ao fluxo de trabalho da sua equipe.

Importante

Conclua a triagem de falhas primeiro. Documente as falhas à medida que as diagnostica.

Escolha a versão de modelo que se adapta à sua equipe:

  • Versão leve para equipes pequenas iterando em um único agente
  • Versão detalhada para equipes maiores ou quando se está construindo conhecimento institucional de vários agentes

Log de falhas leves

O log de falhas leve é destinado a equipes pequenas ou sessões rápidas de triagem.

Copie essa tabela e preencha durante as sessões de triagem. Adicione uma linha por falha.

Caso de teste Tipo de causa raiz Problema observado Alteração aplicada Resolvido
___ Configuração de avaliação, do agente ou limitação da plataforma ___ ___ Sim / Não / Parcial
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Exemplo (Preenchido)

Caso de teste Tipo de causa raiz Problema observado Alteração aplicada Resolvido
KG-003 Configuração da avaliação Resposta esperada desatualizada (política de devolução antiga—30 dias; a política atual é de 15 dias úteis) Valor esperado atualizado para "15 dias úteis" Sim
KG-005 Configuração do agente O agente forneceu detalhes de garantia que não estão em nenhuma fonte de conhecimento Instrução de fundamentação adicionada: "Responda apenas com base em fontes de conhecimento" Sim
TI-002 Limitações da plataforma A classificação de resultados ignora o título exato do documento; as Perguntas Frequentes (FAQ) são sempre exibidas em vez do manual do produto Títulos de documentos reestruturados como solução alternativa; escalonado para a equipe de plataforma Parcial
FA-019 Limitações da plataforma Uma consulta ambígua não consegue recuperar a fonte correta de maneira confiável Documentado como limitação conhecida; monitoramento em produção Não (lacuna conhecida)

Log detalhado de falhas

O log detalhado de falhas é para equipes que precisam compartilhar descobertas, acompanhar o andamento ao longo dos sprints ou desenvolver conhecimento institucional entre vários agentes.

Observação

Baixe uma versão CSV deste modelo.

Registro por falha

Campo Valor
ID do caso de teste (a partir do conjunto de avaliação, como KG-003)
Conjunto de avaliação (a qual conjunto de avaliação este registro pertence)
Sinal de qualidade (precisão factual, base de conhecimento, invocação de ferramentas, etc.)
Tipo de causa raiz (Configuração de Avaliação, Configuração do Agente, Limitação de Plataforma, Integração de Ferramentas, Não Classificado)
Detalhes da causa raiz (subtipo específico, como "resposta esperada desatualizada", "ambiguidade na descrição da ferramenta")
Problema observado (o que o agente fez em comparação com o que deveria ter feito)
Caminho de diagnóstico (quais perguntas de triagem levaram a essa classificação, como "Etapa 1, P1.2—resposta esperada desatualizada")
Ação de remediação (o que foi alterado; detalhes suficientemente específicos para reproduzir)
Status (Aberto, Em Andamento, Resolvido, Não Corrigido)
Não corrigirá a lógica (se não será corrigido: por que, e qual monitoramento está em vigor)
Verificação (resultado da reexecução: aprovado ou reprovado, data, número da iteração)
Data da triagem ___
Classificado por ___

Exemplo (Preenchido)

Campo Valor
ID do caso de teste KG-005
Conjunto de avaliação Fundamentação do conhecimento
Sinal de qualidade Fundamentação do conhecimento
Tipo de causa raiz Configuração do agente
Detalhes da causa raiz Informação incorreta, o conteúdo criado pelo agente não consta em nenhuma fonte de conhecimento
Problema observado O agente alegou “garantia estendida de 3 anos cobrindo todas as peças e mão de obra” quando a fonte diz “garantia padrão de 2 anos”
Caminho de diagnóstico Etapa 1 aprovado (avaliação válida) → Etapa 2, P2.4 (respondido sem fonte) + P2.5 (contradizendo a fonte)
Ação de remediação Adicionado ao prompt do sistema: "Responda apenas com base nas informações encontradas nas fontes de conhecimento. Se as informações não estiverem disponíveis, diga."
Status Resolvido
Não corrigirá a lógica N/D
Verificação Aprovado (iteração 2, 15 de fevereiro)
Data da triagem 14 de fevereiro
Classificado por [nome]

Log de resumo da iteração

Acompanhe as pontuações e mudanças ao longo das iterações para análise de tendências.

Iteração Data Alteração realizada Conjunto de avaliação afetado Pontuação anterior Pontuação após Delta Anotações
1 ___ Referência inicial (sem alterações) Todas — ___% — Execução inicial
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Resumo da concentração

Após cada sessão de triagem, contabilize os tipos de causa raiz para identificar padrões de concentração.

Tipo de causa raiz Count % do total É sistêmico?
Configuração da avaliação ___ ___% (80%+ = pausar o trabalho do agente, corrigir as avaliações primeiro)
Configuração do agente ___ ___% (80%+ em uma área = problema arquitetônico)
Limitações da plataforma ___ ___% (80%+ = reavaliar escopo, escalonar)
Ferramenta ou integração ___ ___% (corrija o back-end, não o agente)
Não classificado ___ ___% monitorar; pode se tornar classificável com mais dados
Total ___ 100%

Melhores práticas para manter o log

  • Atualize em tempo real durante a triagem. Não faça atualizações em lote após a sessão.
  • Registre também os resultados negativos, como “tentei X, não funcionou.” Essa prática ajuda a evitar que tentativas malsucedidas sejam repetidas.
  • Revise antes de cada iteração. Verifique se há padrões antes de lidar com falhas individuais.
  • Compartilhe com a equipe. Compartilhe o log com a equipe para que todos vejam os resultados anteriores.
  • Arquive, não exclua. Mantenha as entradas resolvidas para análise de padrões. Mova as entradas para uma seção de arquivo se o registro ativo ficar longo.

Próximas etapas

Depois de registrar seus erros:

  • Last updated on