Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Os sinais de qualidade fornecem uma maneira estruturada de entender por que as respostas do agente são bem-sucedidas ou falham. Eles ajudam as equipes a agrupar os resultados da avaliação em categorias significativas, priorizar melhorias e acompanhar o progresso ao longo do tempo.
Este artigo explica como derivar sinais de qualidade dos resultados da avaliação para diagnosticar problemas, identificar padrões e melhorar o desempenho do agente Copilot.
Usando sinais de qualidade, as equipes podem:
- Identificar padrões de falhas recorrentes
- Priorizar melhorias com base no impacto
- Acompanhar o desempenho entre iterações
- Comunique os resultados claramente às partes interessadas
O que são sinais de qualidade?
Sinais de qualidade são categorias que representam padrões nos resultados da avaliação. Eles vêm do comportamento observado, e não de regras predefinidas.
Asserções e sinais de qualidade trabalham juntos em um fluxo de trabalho de avaliação:
- As asserções determinam se uma resposta é aprovada ou reprovada.
- Os sinais de qualidade agrupam os resultados da asserção em padrões de nível superior.
| Aspecto | Asserções | Sinais de qualidade |
|---|---|---|
| Nível | Específico e concreto | Abstrato e categórico |
| Objetivo | Determinar aprovação ou reprovação | Padrões de diagnóstico |
| Quantidade | Muitos por caso de teste | Poucos por agente |
| Origin | Definido antes do teste | Derivado de resultados |
| Exemplo | Contém "15 dias" | Precisão da política |
Depois de definir as asserções, obtenha sinais de qualidade dos resultados da asserção e use-os para acompanhar o desempenho em todos os cenários.
Sinais comuns de qualidade
Use os seguintes sinais comuns de qualidade ao avaliar agentes Copilot:
- Precisão da política – mede se as respostas estão alinhadas com fontes de conhecimento autorizadas
- Atribuição de fonte – mede se as respostas identificam claramente as fontes de informação
- Personalização – mede se as respostas usam o contexto relevante do usuário
- Precisão da ferramenta – mede se as chamadas de ferramenta são executadas corretamente
- Tratamento de respostas da ferramenta – Mede se o agente interpreta corretamente a saída da ferramenta
- Adequação do escalonamento – mede se as solicitações são roteadas para suporte humano quando necessário
- Proteção da privacidade – mede se as informações confidenciais são protegidas
- Habilitação de ação – mede se as respostas fornecem próximas etapas claras
Avaliação de sinal e causas comuns
A tabela a seguir lista os indicadores para cada sinal de qualidade.
| Sinal de qualidade | Indicadores de aprovação | Indicadores de falha | Causas comuns |
|---|---|---|---|
| Precisão da política | Valores e datas corretos Detalhes precisos da política Consistente com a documentação atual |
Valores desatualizados ou incorretos Detalhes conflitantes ou fabricados |
Documentos desatualizados ou duplicados Resultados de recuperação incorretos Alucinações modelo |
| Atribuição da fonte | Referências a documentos ou seções específicas Instruções de atribuição claras |
Nenhuma fonte fornecida Referências vagas ou genéricas |
Metadados de origem ausentes As instruções não enfatizam a atribuição |
| Personalização | Respostas específicas da região ou da função Recomendações adaptadas ao contexto |
Respostas genéricas que ignoram o contexto do usuário Informações regionais ou baseadas em funções incorretas |
Contexto de usuário indisponível para o agente Fontes de conhecimento não segmentadas por audiência |
| Precisão da ferramenta | Seleção correta de ferramentas Parâmetros e identificadores válidos Todos os campos obrigatórios preenchidos |
Parâmetros ausentes ou incorretos Entradas de ferramenta inválidas |
Especificações de API ambíguas Mapeamento de parâmetro incorreto |
| Tratamento de resposta da ferramenta | Comunicação precisa dos resultados da ferramenta Tratamento correto de estados de sucesso e erro |
Declarações de sucesso incorretas Erros de ferramenta ignorados ou mal interpretados |
Diretrizes de tratamento de erros ausentes Interpretação incorreta das respostas da ferramenta |
| Adequação do escalonamento | Problemas delicados ou complexos são roteados corretamente Conformidade com regras de escalonamento |
O agente tenta lidar com cenários não suportados Falha ao escalonar solicitações de alto risco |
Critérios de escalonamento indefinidos Instruções excessivamente permissivas |
| Proteção da privacidade | Recusa em divulgar dados restritos Respostas limitadas a informações autorizadas |
Divulgação ou inferência de dados confidenciais Respostas que expõem informações protegidas |
Controles de acesso fracos Diretrizes de privacidade insuficientes |
| Habilitação de ação | Instruções específicas Links, identificadores ou detalhes de contato |
Diretrizes vagas ou incompletas Etapas acionáveis ausentes |
Informações de procedimentos ausentes nas fontes de conhecimento Respostas resumidas demais |
Como derivar sinais de qualidade
Os sinais de qualidade são derivados de padrões nos resultados da avaliação, em vez de listas de verificação predefinidas. Para derivar sinais de qualidade:
- Execute um conjunto inicial de casos de teste de avaliação.
- Revise as respostas com falha em casos de teste.
- Identificar padrões recorrentes em falhas.
- Defina cada padrão como um sinal de qualidade.
- Marque asserções relacionadas com o sinal correspondente.
- Acompanhe as taxas de aprovação por sinal.
Sinais de qualidade na prática
O exemplo a seguir mostra sinais de qualidade definidos para um agente de integração de funcionários.
| Observação | Padrão identificado | Sinal de qualidade |
|---|---|---|
| Valores corretos de PTO retornados | Recuperação precisa do conhecimento | Precisão da política |
| Fonte citada na resposta | Atribuição incluída | Atribuição da fonte |
| Informações regionais incorretas retornadas | Contexto não usado | Personalização |
| Ferramenta invocada com parâmetros incorretos | Erro de execução | Precisão da ferramenta |
| Solicitação encaminhada ao RH adequadamente | Escalonamento correto | Adequação do escalonamento |
| Dados confidenciais quase expostos | Risco de limite de privacidade | Proteção da privacidade |
| Próximas etapas incluídas na resposta | Resposta acionável | Habilitação de ação |
A seguir estão medidas específicas para sinais de qualidade.
| Precisão da política | Atribuição da fonte | Precisão da ferramenta |
|---|---|---|
| Contém a duração correta da tomada de força | Cita documentos oficiais | Invoca a ferramenta correta |
| Inclui o prazo de inscrição correto | Faz referência a seções específicas | Usa parâmetros válidos |
| Não faz referência a política desatualizada | retorna o resultado correto |
Aplicar e comunicar sinais de qualidade
Use sinais de qualidade para conduzir fluxos de trabalho de avaliação e comunicar insights. Para aplicar sinais de qualidade:
Asserções de tag – Adicione tags de sinal a cada asserção em seus casos de teste.
Caso de teste: PTO-001
Solicitar: "Quantos dias de férias os novos funcionários têm?"Afirmações:
A resposta contém "15 dias".
Sinal: precisão da políticaA resposta cita o Manual do Funcionário.
Sinal: atribuição de origemA resposta menciona a faixa de <posse de 2 anos.
Sinal: Personalização
Calcular métricas – Agregue resultados de aprovação e reprovação por sinal.
Sinal de qualidade Casos de teste Aprovado Falha Taxa de aprovação Precisão da Política 25 23 2 92% Atribuição de fonte 25 20 5 80% Personalização 15 11 4 73% Precisão da ferramenta 12 10 2 83% Adequação do escalonamento 8 8 0 100% Proteção da Privacidade 10 10 0 100% Priorize os problemas – Concentre-se em sinais com baixas taxas de aprovação ou alto impacto.
- Personalização (73%) - Maior lacuna, investigue primeiro.
- Atribuição de fonte (80%) - Segunda prioridade.
- Precisão da ferramenta (83%) - Terceira prioridade.
- Precisão da política (92%) - Problemas menores, monitore.
Acompanhar o progresso – Monitore as taxas de passagem de sinal nas versões do agente.
- Versão 1.0 > , 1.1 > , 1.2 > , 1.3
- Personalização: 73% > 78% > 85% > 91% (melhorando)
- Atribuição da fonte: 80% > 82% > 88% > 90% (melhorando)
- Precisão da ferramenta: 83% > 85% > 84% > 92% (melhorado após a regressão v1.2)
Os sinais de qualidade transformam as conversas com as partes interessadas. Essa especificidade permite correções direcionadas, acompanhamento quantitativo do progresso e comunicação mais clara com as partes interessadas.
Sem sinais: O agente não está funcionando bem. Os usuários estão reclamando.
Com sinais: A precisão da política está em 92% - estamos atingindo nossa meta. Mas a personalização caiu para 73% após a última atualização. Especificamente, os funcionários do Reino Unido estão recebendo informações de férias nos EUA. Identificamos a causa raiz: a recuperação de contexto não está passando dados de localização. A correção está em andamento para o próximo lançamento.
Sinais de qualidade por tipo de agente
Os sinais e prioridades de qualidade variam de acordo com o tipo de agente que você está avaliando.
| Tipo de agente | Sinal | Prioridade |
|---|---|---|
| Baseado em conhecimento | Precisão da política | Alto |
| Atribuição da fonte | Alto | |
| Completude | Médio | |
| Personalização | Médio | |
| Chamada de ferramentas | Precisão da ferramenta | Alto |
| Tratamento de resposta da ferramenta | Alto | |
| Habilitação de ação | Alto | |
| Recuperação de erros | Médio | |
| Híbrido | Precisão de roteamento | Alto |
| Sinais de conhecimento | Médio | |
| Sinais de ferramenta | Médio | |
| Adequação do escalonamento | Médio | |
| Voltado para o cliente | Proteção da privacidade | Alto |
| Tom e profissionalismo | Alto | |
| Adequação do escalonamento | Alto | |
| Integridade da resolução | Médio |
Evite armadilhas comuns
Evite os seguintes problemas para garantir que seus sinais de qualidade permaneçam úteis, consistentes e acionáveis.
Use sinais específicos em vez de categorias genéricas
Sinais muito amplos, como "Precisão", "Utilidade" ou "Relevância", não fornecem informações acionáveis. Sinais genéricos dificultam a identificação das causas raiz ou a priorização de melhorias.
Em vez disso, defina sinais com base em padrões específicos e observáveis nos resultados da avaliação.
- Evite: precisão
- Preferência: precisão da política, atribuição de origem
Evite sinais excessivamente granulares
A criação de muitos sinais de escopo restrito aumenta a complexidade sem melhorar a percepção. A granularidade excessiva fragmenta a análise e dificulta o acompanhamento de tendências significativas.
Em vez disso, agrupe comportamentos relacionados em categorias de sinal mais amplas e reutilizáveis.
- Evite: Precisão da tomada de força, precisão de benefícios, precisão de férias
- Preferência: precisão da política
Evite critérios vagos de aprovação e reprovação
Definições de sinal vagas, como "Correção", carecem de padrões mensuráveis. Sem critérios claros, os resultados são inconsistentes e difíceis de interpretar.
Em vez disso, defina sinais usando comportamentos explícitos e observáveis vinculados aos resultados da avaliação.
- Evite: "A resposta está correta"
- Preferir: "A resposta inclui o valor correto e cita a fonte autorizada"