Camada 1: Interpretar as pontuações de avaliação e avaliar a prontidão

Depois de executar avaliações a um agente, normalmente tem pontuações, mas não uma resposta imediata à questão mais importante: O agente está pronto para ser implementado?

Esta camada foca-se na interpretação das pontuações de avaliação e na avaliação da prontidão antes de investigar falhas em casos de teste individuais. Utilize pontuações como sinais de decisão para determinar se pode implementar o agente, se deve continuar a iterar ou se deve bloquear a implementação. Este passo também o ajuda a identificar onde é necessária uma análise mais profunda.

Objetivo da interpretação da pontuação

Esta camada ajuda a responder a perguntas de prontidão de elevado nível, incluindo:

  • O agente está pronto para ser implementado?
  • Caso contrário, quais são as áreas que precisam de atenção primeiro?
  • Existem problemas de bloqueio que devem ser resolvidos antes de avançar para uma próxima iteração?

Este passo é intencionalmente simples. Na maioria dos casos, pode concluir este passo em 10–15 minutos utilizando os resultados de avaliação já disponíveis.

Antes de começar

Antes de iniciar esta camada, certifique-se de que tem:

  • Resultados de aprovação ou reprovação para casos de teste individuais.
  • Pontuações agregadas para um ou mais conjuntos de avaliação (por exemplo, segurança, fundamento, correção empresarial ou utilização de ferramentas).

Se os resultados da avaliação ainda não estiverem disponíveis, execute os seus conjuntos de avaliação primeiro e volte a este passo assim que as pontuações estiverem disponíveis.

Interpretar as pontuações ao nível do conjunto de avaliação

Comece por rever as pontuações dos conjuntos de avaliação, em vez dos casos de teste individuais.

Os conjuntos de avaliação representam diferentes áreas de risco e capacidade, como segurança, comportamento principal do negócio, fundamentação de conhecimento ou invocação de ferramentas. Interpretar as pontuações a este nível permite determinar se as falhas são isoladas ou sistémicas.

Considere as seguinte questões:

  • Existem pontuações de segurança ou conformidade abaixo dos limiares aceitáveis?
  • Os conjuntos principais de avaliação do negócio estão a corresponder às expectativas mínimas?
  • Que conjunto de avaliação é o mais fraco relativamente à sua importância?

Nesta fase, concentre-se no sinal, não na causa raiz.

Interprete as taxas de aprovação em dois níveis:

  • Por conjunto de avaliação: O que significa esta percentagem para a capacidade específica a ser testada?
  • Por sinal de qualidade: O que indica esta percentagem em todos os conjuntos de avaliação que testam o mesmo sinal?

Uma taxa de aprovação baixa não implica automaticamente que o agente esteja incorreto. Indica que é necessária uma investigação. O problema pode estar no agente, na configuração de avaliação ou na plataforma.

Definir limiares com base no risco

Não aplique os mesmos limiares a todos os agentes. Defina limiares com base no perfil de risco do agente. Considere os seguintes fatores.

Fator Perguntas a fazer Impacto no limiar
Consequência da falha O que acontece se o agente cometer um erro? Inconveniência? Perda financeira? Risco de segurança? Consequência mais grave → Limiar mais elevado
Frequência de utilização Com que frequência os utilizadores acionam este sinal de qualidade? Frequência mais elevada → Limiar mais elevado (maior exposição)
Disponibilidade de contingência Se o agente falhar, existe disponibilidade de suporte humano? Com que rapidez? Sem contingência → Limiar mais elevado
Audiência Colaboradores internos? Clientes externos? Setor regulado? Externo ou regulado → Limiar mais elevado

Exemplos de limiares com base no risco

Esta tabela mostra exemplos de pontos de partida, e não padrões universais.

Perfil de risco Descrição Segurança e conformidade Negócio principal Capacidades
Ferramenta interna de baixo risco Apenas para utilização interna, revisão humana de todos os resultados, domínio de baixo risco 90%+ 75%+ 65%+
Agente de risco médio destinado aos clientes Utilizadores externos, alguma automatização, erros recuperáveis 95%+ 85%+ 75%+
Agente regulado/financeiro de alto risco Utilizadores externos, decisões com consequências, exposição regulamentar 98%+ 92%+ 85%+
Agente crítico para a segurança Aconselhamento médico, jurídico ou financeiro com supervisão humana limitada 99%+ 95%+ 90%+

Utilize estes exemplos como referências e depois ajuste com base nas suas considerações específicas de risco.

Exemplo de calibração de limiar

O exemplo a seguir mostra uma possível calibração para um agente de suporte de risco médio destinado aos clientes.

Sinal de qualidade Limiar inicial Limiar de bloqueio Fundamentação
Dados pessoais e segurança 95-100% < 95% bloqueia o envio Qualquer falha de segurança é de alto risco
Conformidade e conteúdo literal 95-100% < 95% bloqueia o envio Exposição regulamentar ou jurídica
Precisão factual (negócio principal) 85-95% < 80% bloqueia o transporte Proposta de valor central
Fundamentação do conhecimento 85-95% < 80% bloqueia o transporte Base para a precisão
Invocação da ferramenta 90-95% < 85% bloqueia o envio Fiabilidade da execução de tarefas
Encaminhamento do acionador 85-95% < 80% bloqueia o transporte Correção do fluxo da conversação
Escalamento e gradualismo 90-95% < 85% bloqueia o envio Rede de segurança da experiência de utilizador
Qualidade do tom e da resposta 80-90% < 75% bloqueia o envio Sinal subjetivo

Sugestão

Calibre, não copie. Os limiares devem refletir o risco aceitável para o seu caso de utilização específico.

Determinar o estado de prontidão

Utilize as pontuações do conjunto de avaliação para determinar o resultado global de prontidão. Os principais estados de prontidão incluem:

  • Bloqueio: Falhas de segurança, conformidade ou críticas para o negócio impedem a implementação.
  • Iterar: o agente mostra potencial, mas requer melhorias direcionadas.
  • Implementação condicional: O agente pode ser implementado com limitações documentadas e monitorizadas.
  • Implementar: o agente cumpre os limiares em todos os conjuntos de avaliação obrigatórios.

Baseie as decisões de prontidão na tolerância ao risco e no contexto de utilização, e não numa única pontuação universal.

Sugestão

A implementação condicional com lacunas conhecidas é um resultado legítimo. Documente as limitações aceites e monitorize-as ao longo do tempo utilizando o modelo de registo de falhas.

Determinar quando a iteração está concluída

Utilize os seguintes critérios para determinar quando pode passar da triagem para a implementação ou monitorização.

A iteração está concluída quando:

  • Todos os conjuntos de avaliação estão acima dos seus limiares, incluindo os limiares ajustados.
  • As lacunas conhecidas estão documentadas com proprietários e linhas cronológicas.
  • As repetições de execuções produzem pontuações consistentes com diferença inferior a 5% entre sequências.
  • Nenhum problema de bloqueio continua classificado como problema de configuração do agente.

A iteração não está concluída quando:

  • Os limiares são cumpridos sem compreender as falhas restantes.
  • As pontuações só melhoram porque os casos de teste difíceis foram removidos.
  • As limitações da plataforma são aceites de forma implícita sem documentação.

Gestão do não determinismo nas pontuações

Os agentes e avaliadores baseados em modelos de linguagem produzem resultados variáveis. Aplique as seguintes práticas:

  • Estabelecer linhas de base: Execute o conjunto completo de avaliação pelo menos três vezes antes de considerar qualquer pontuação como linha de base. Utilize a média como pontuação de referência. Com menos de três execuções, não consegue distinguir sinal real de ruído.
  • Variação das pontuações entre execuções: Uma variação de até 5% entre execuções é normal para avaliadores baseados em modelos de linguagem. Se as execuções variarem mais de 10%, investigue a fiabilidade do avaliador antes de diagnosticar problemas com o agente. Saiba mais em Validação do avaliador.
  • Interpretar alterações nas pontuação após a remediação: Para conjuntos de avaliação com menos de 30 casos de teste, um único caso de teste que passe de reprovado para aprovado altera a pontuação em 3% ou mais. Não interprete em excesso pequenas variações. Para conjuntos de avaliação com 50 ou mais casos de teste, considere significativa uma alteração de 5% ou mais. Em caso de dúvida, volte a executar a avaliação três vezes e compare a média à sua média de linha de base.
  • Identificar casos de teste instáveis (passar umas vezes, falhar noutras): um caso de teste que passa em duas em cada três execuções está no limite. Investigue mais a fundo. O valor esperado é demasiado rígido (configuração de avaliação) ou o agente é realmente inconsistente (configuração do agente)? Se o agente produzir duas respostas diferentes, mas ambas aceitáveis, a avaliação é demasiado rígida.

Passos seguintes

Depois de interpretar as suas pontuações e identificar onde deve concentrar-se:

Se mais de 10 casos de teste estiverem a falhar, analise os padrões antes de fazer a triagem de falhas individuais.

  • Last updated on