Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Quando os resultados das avaliações revelam falhas, o próximo desafio é saber o que fazer com elas. A estrutura de triagem e correção oferece uma maneira estruturada de interpretar pontuações, diagnosticar falhas, identificar a propriedade e mapear problemas para correções específicas, sem buscar a causa raiz errada ou otimizar pontuações isoladamente. Este artigo apresenta os objetivos, a organização e os pré-requisitos da estrutura para que você possa processar sistematicamente os resultados das avaliações e deixar seu agente pronto para produção.
O que a estrutura ajuda você a fazer
A estrutura oferece uma forma organizada de passar dos resultados para a ação, ajudando você a:
- Interpretar os resultados da avaliação em contexto
- Priorizar falhas com base no risco e no impacto
- Diagnosticar por que um caso de teste teve falha
- Faça a distinção entre:
- Problemas na configuração da avaliação
- Problemas na configuração do agente
- Limitações de plataforma ou de capacidade
Cada problema diagnosticado corresponde a uma ação de remediação específica e testável.
O objetivo não é otimizar as pontuações isoladamente, mas concentrar o esforço onde isso melhora o comportamento do agente no mundo real.
No ciclo de vida mais amplo, essa estrutura apoia a melhoria contínua:
- Projete e crie o agente.
- Avalie o comportamento com testes estruturados.
- Faça a triagem e remedeie problemas usando este conjunto de artigos.
- Reavalie e itere conforme o agente evolui.
Ao tratar os resultados da avaliação como sinais acionáveis, você avança com eficiência da experimentação para agentes repetíveis e prontos para produção.
A organização da estrutura
A estrutura é organizada em quatro camadas de triagem. Cada camada corresponde a um nível mais profundo de análise, desde a interpretação das pontuações até o diagnóstico de causas raiz e a identificação de padrões sistêmicos.
- Camada 1: interpretar as pontuações de avaliação e avaliar a preparação: o que significam os resultados e o agente está pronto para implantar?
- Camada 2: Falhas na triagem: por que isso teve falha, e quem precisa agir?
- Camada 3: Mapear padrões de falha para estratégias de remediação: o que especificamente deve ser alterado?
- Camada 4: Analisar padrões e melhorar: quais questões sistêmicas as falhas revelam?
A estrutura também inclui exemplos práticos que mostram a aplicação da estrutura de ponta a ponta e um modelo de log de falhas para ajudar você a rastrear descobertas e decisões.
A referência rápida fornece uma versão condensada do processo de triagem e correção para uso durante as sessões ativas.
Tipos de causas raiz
As falhas de avaliação correspondem a um dos três tipos de causa raiz com base no proprietário ou em quem precisa agir.
| Tipo de causa raiz | Proprietário | descrição |
|---|---|---|
| Problema na configuração da avaliação | O autor da avaliação | O caso de teste, a resposta esperada ou o avaliador estão incorretos. O agente pode estar atuando corretamente. |
| Problema na configuração do agente | O construtor de agentes | O agente produz uma resposta incorreta que pode ser corrigida por meio de mudanças de configuração. |
| Problema de limitação da plataforma | Equipe de plataforma | O comportamento da plataforma está causando o problema e não pode ser resolvido com alterações de configuração. |
Princípios de design
Os princípios de design orientam como aplicar a estrutura na prática para garantir a triagem e remediação eficazes.
| Princípio | O que significa na prática |
|---|---|
| Começar pelos resultados da avaliação | Comece com as taxas reais de aprovação e casos de teste com falha, não suposições abstratas. |
| Eliminar o trabalho incorreto primeiro | Verifique a configuração da avaliação antes de investigar o agente para evitar o desperdício de esforço. |
| Causa raiz → proprietário → ação | Certifique-se de que cada caminho de diagnóstico identifique claramente um proprietário e uma ação concreta. |
| Verificar classificação | Repita as avaliações após a remediação. Caso as falhas persistam, faça uma nova triagem. |
| Considerar causas compostas | Reconheça que uma única falha pode ter várias causas contribuintes. |
| Levar em conta a variabilidade | Considere a variabilidade de modelo e de avaliador. Execute novamente as avaliações para confirmar os resultados. |
Arquitetura do conjunto de avaliação
A eficácia da triagem depende de como os conjuntos de avaliação são estruturados.
- Conjuntos bem estruturados (organizados por sinal de qualidade ou cenário) produzem pontuações interpretáveis e triagem eficaz.
- Conjuntos mal estruturados (sinais mistos, limites pouco claros) produzem resultados ruidosos e diagnósticos ambíguos.
Se as pontuações forem difíceis de interpretar, considere reestruturar os conjuntos de avaliação antes de fazer a triagem de falhas individuais.
Antes de começar
Você precisa ter os resultados das avaliações disponíveis, incluindo o resultado de aprovação ou reprovação para cada caso de teste. Caso ainda não tenha executado avaliações, siga as etapas em Automatizar testes com avaliação do agente e consulte Projetar e operacionalizar a avaliação do agente para obter mais orientações.
Próxima etapa
Comece interpretando os resultados da avaliação para determinar a preparação.