Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Quando os resultados das avaliações revelam falhas, o próximo desafio é saber o que fazer com eles. A estrutura de triagem e remediação proporciona-lhe uma forma estruturada de interpretar classificações, diagnosticar falhas, identificar propriedade e mapear problemas para correções específicas—sem perseguir a causa raiz errada ou otimizar classificações isoladamente. Este artigo apresenta os objetivos, a estrutura e os pré-requisitos da estrutura para que possa analisar sistematicamente os resultados da avaliação e preparar o seu agente para a entrada em produção.
O que a estrutura o ajuda a fazer
A estrutura fornece uma forma estruturada de passar dos resultados à ação, ajudando-o a:
- Interpretar as classificações das avaliações no contexto
- Priorizar falhas com base no risco e impacto
- Diagnosticar porque um caso de teste falhou
- Distinguir entre:
- Problemas de configuração da avaliação
- Problemas de configuração do agente
- Limitações da plataforma ou da capacidade
Cada problema diagnosticado corresponde a uma ação de remediação específica e testável.
O objetivo não é otimizar as classificações isoladamente, mas sim concentrar os esforços onde se melhora o comportamento do agente no mundo real.
Ao longo do ciclo de vida, esta estrutura apoia a melhoria contínua:
- Conceber e criar o agente.
- Avaliar o comportamento com testes estruturados.
- Faça a triagem e resolva os problemas utilizando este conjunto de artigos.
- Reavalie e faça iterações à medida que o agente evolui.
Ao tratar os resultados da avaliação como sinais acionáveis, passa eficientemente da experimentação para agentes repetíveis e prontos para produção.
Estrutura do quadro
A estrutura está organizada em quatro camadas de triagem. Cada camada corresponde a um nível mais profundo de análise, desde a interpretação das classificações até ao diagnóstico das causas raiz e à identificação de padrões sistémicos.
- Camada 1: interpretar as pontuações de avaliação e avaliar se estão prontos: O que significam os resultados e o agente está pronto para ser implementado?
- Camada 2: Falhas na triagem: Porque é que isto falhou e quem precisa de agir?
- Camada 3: Mapear padrões de falhas para estratégias de remediação: O que especificamente deve ser alterado?
- Camada 4: Analisar padrões e melhorar: Que problemas sistémicos revelam as falhas?
A estrutura inclui também exemplos práticos que mostram a estrutura aplicada de ponto a ponto, bem como um modelo de registo de falhas para apoiar a monitorização das descobertas e decisões.
A referência rápida fornece uma versão condensada do processo de triagem e remediação para utilização durante as sessões ativas.
Tipos de causa raiz
As falhas de avaliação correspondem a um dos três tipos de causas raiz, dependendo de quem é o responsável ou de quem precisa agir.
| Tipo de causa raiz | Proprietário | Descrição |
|---|---|---|
| Problema na configuração da avaliação | Autor da avaliação | O caso de teste, a resposta esperada ou o avaliador está incorreto. O agente pode estar a funcionar corretamente. |
| Problema de configuração do agente | O construtor de agentes | O agente produz uma resposta incorreta que pode ser corrigida através de alterações de configuração. |
| Problema de limitação da plataforma | Equipa de plataforma | O comportamento da plataforma está a causar o problema e não pode ser resolvido através da configuração. |
Princípios de estrutura
Os princípios de design orientam a forma de aplicar a estrutura na prática para garantir uma triagem e remediação eficazes.
| Princípio | O que significa na prática |
|---|---|
| Comece pelos resultados da avaliação | Comece com as taxas reais de aprovação e os casos de teste que falham, em vez de suposições abstratas. |
| Elimine primeiro o trabalho incorreto | Verifique a configuração da avaliação antes de investigar o agente para evitar esforço desperdiçado. |
| Causa raiz → proprietário → ação | Certifique-se de que cada caminho de diagnóstico identifica claramente um proprietário e uma ação concreta. |
| Verificar classificação | Repita as avaliações após a remediação. Se as falhas persistirem, refaça a triagem. |
| Preveja causas compostas | Reconheça que uma única falha pode ter várias causas que contribuem para o problema. |
| Tenha em conta a variabilidade | Tenha em conta a variabilidade do modelo e do avaliador. Repita avaliações para confirmar os resultados. |
Arquitetura do conjunto de avaliação
A eficácia da triagem depende de como os conjuntos de avaliação estão estruturados.
- Conjuntos bem estruturados (organizados por sinal de qualidade ou cenário) produzem classificações interpretáveis e triagem eficaz.
- Conjuntos mal estruturados (sinais mistos, limites pouco claros) produzem resultados ruidosos e diagnósticos ambíguos.
Se as classificações forem difíceis de interpretar, considere reestruturar os conjuntos de avaliação antes de realizar a triagem das falhas individuais.
Antes de começar
É necessário ter disponíveis os resultados das avaliações, incluindo um resultado de aprovação ou reprovação para cada caso de teste. Caso ainda não tenha realizado avaliações, siga os passos em Automatize os testes com avaliação de agentes e consulte Conceber e operacionalizar a avaliação de agentes para orientação adicional.
Passo seguinte
Comece por interpretar os resultados da avaliação para determinar a prontidão.