Monitorizar falhas de avaliação utilizando modelos de registo estruturados

A documentação de falhas de avaliação cria um conhecimento institucional que acelera futuras sessões de triagem. Quando se depara novamente com o mesmo tipo de falha, já sabe o que verificar primeiro, em vez de voltar a detetar as mesmas causas principais.

Utilize estes modelos estruturados para registar a análise de falhas das suas sessões de triagem. Escolha a versão que seja adequada às necessidades e ao fluxo de trabalho da sua equipa.

Importante

Conclua a triagem de falhas primeiro. Documente as falhas à medida que as diagnostica.

Escolha o modelo de formulário que se adapta à sua equipa:

  • Versão simples para equipas pequenas que iteram num único agente
  • Versão detalhada para equipas maiores ou para a criação de conhecimento institucional entre agentes

Registo de falhas simples

O registo de falhas simples destina-se a equipas pequenas ou sessões rápidas de triagem.

Copie esta tabela e preencha-a durante as sessões de triagem. Adicione uma linha por falha.

Caso de teste Tipo de causa raiz Problema observado Alteração aplicada Resolvido
___ Configuração da avaliação, configuração do agente ou limitação da plataforma ___ ___ Sim / Não / Parcial
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Exemplo (preenchido)

Caso de teste Tipo de causa raiz Problema observado Alteração aplicada Resolvido
KG-003 Configuração da avaliação Resposta esperada desatualizada (política de devolução antiga — 30 dias; a política atual é 15 dias úteis) Atualizado o valor esperado para "15 dias úteis" Sim
KG-005 Configuração de agente O agente forneceu detalhes da garantia que não estão presentes em nenhuma fonte de conhecimento Instrução adicional de fundamento: "Apenas responder a partir de origens de conhecimento" Sim
TI-002 Limitação da plataforma A classificação de recuperação ignora o título exato do documento; a FAQ é sempre obtida em vez do manual do produto Cabeçalhos de documentos reestruturados como solução alternativa; escalado para a equipa da plataforma Parcial
FA-019 Limitação da plataforma Uma consulta ambígua não consegue obter de forma fiável a fonte correta Documentado como limitação conhecida; monitorização em produção Nenhuma (lacuna conhecida)

Registo detalhado de falhas

O registo detalhado de falhas serve para equipas que precisam de partilhar resultados, monitorizar o estado ao longo de sprints ou criar um conhecimento institucional entre vários agentes.

Nota

Transfira uma versão CSV deste modelo.

Registo por falha

Campo valor
ID do caso de teste (do conjunto de avaliação, como KG-003)
Conjunto de avaliação (a que conjunto de avaliação pertence este registo)
Sinal de qualidade (precisão factual, fundamentação de conhecimento, invocação de ferramentas, etc.)
Tipo de causa raiz (Configuração de Avaliação, Configuração do Agente, Limitação da Plataforma, Integração de Ferramentas, Não Classificado)
Detalhe da causa raiz (subtipo específico, como "resposta esperada desatualizada", "ambiguidade na descrição da ferramenta")
Problema observado (o que o agente fez versus o que deveria ter feito)
Caminho diagnóstico (que perguntas de triagem levaram a esta classificação, como "Passo 1, Q1.2—resposta esperada desatualizada")
Ação de remediação (o que foi alterado; detalhes suficientemente específicos para reproduzir)
Estado (Aberto, Em Curso, Resolvido, Não Vai Resolver)
Justificação não vai resolver (se Não Vai Resolver: porquê, e que monitorização está implementada)
Verificação (resultado da nova execução: aprovado ou reprovado, data, número da iteração)
Data de triagem ___
Triado por ___

Exemplo (preenchido)

Campo valor
ID do caso de teste KG-005
Conjunto de avaliação Fundamentação do conhecimento
Sinal de qualidade Fundamentação do conhecimento
Tipo de causa raiz Configuração de agente
Detalhe da causa raiz Informação incorreta, o conteúdo gerado pelo agente não está em nenhuma fonte de conhecimento
Problema observado O agente alegou "garantia alargada de 3 anos que cobre todas as peças e mão de obra", enquanto a fonte diz "garantia padrão de 2 anos"
Caminho diagnóstico Passo 1 aprovado (avaliação válida) → Passo 2, Q2.4 (respondido sem fonte) + Q2.5 (fonte contradita)
Ação de remediação Adicionado ao pedido do sistema: "Responda apenas com base na informação encontrada nas suas fontes de conhecimento. Se a informação não estiver disponível, diga-o."
Estado Resolvido
Justificação não vai resolver N/D
Verificação Aprovação (iteração 2, 15 de fevereiro)
Data de triagem 14 de Fev
Triado por [nome]

Registo de resumo de iterações

Monitorize as pontuações e as alterações entre as iterações para análise de tendências.

Iteração Data Alteração efetuada Conjunto de avaliação afetado Pontuação antes Pontuação depois Delta Notas
1 ___ Linha de base (sem alterações) Todas as — ___% — Execução inicial
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Resumo da concentração

Após cada sessão de triagem, contabilize os tipos de causas raiz para encontrar os padrões de concentração.

Tipo de causa raiz Contagem % do Total Sistémico?
Configuração da avaliação ___ ___% (80%+ = pausar o trabalho do agente, corrigir as avaliações em primeiro lugar)
Configuração de agente ___ ___% (80%+ numa área = problema arquitetónico)
Limitação da plataforma ___ ___% (80%+ = reavaliar o âmbito, escalar)
Ferramenta ou integração ___ ___% (corrigir o back-end, não o agente)
Sem classificação ___ ___% (monitorizar; pode tornar-se classificável com mais dados)
Total ___ 100%

Melhores práticas para manter o registo

  • Atualize em tempo real durante a triagem. Não atualize em lote depois da sessão.
  • Registe também resultados negativos, como "tentei X, não ajudou." Esta prática ajuda a evitar repetir abordagens falhadas.
  • Reveja antes de cada iteração. Verifique se existem padrões antes de abordar falhas individuais.
  • Partilhe com toda a equipa. Partilhe o registo com a equipa para que todos vejam os resultados anteriores.
  • Arquive, não elimine. Mantenha as entradas resolvidas para análise de padrões. Mova as entradas para uma secção de arquivos se o registo ativo se tornar demasiado extenso.

Passos seguintes

Após documentar as suas falhas:

  • Last updated on