Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Para melhorar a qualidade de seus agentes declarativos e agentes de mecanismo personalizados, projete e execute avaliações do agente. As avaliações do agente aplicam-se a todos os agentes, independentemente de utilizar o Copilot Studio, o SDK de Agentes do Microsoft 365 ou a Biblioteca de IA do Microsoft Teams para criar o seu agente.
Comece com o Work IQ Dev Tools para agentes declarativos
Para agentes declarativos implantados, comece com o Work IQ Dev Tools para um fluxo de trabalho de avaliação guiado. Os wiqd agent eval fluxos de trabalho e wiqd plugin eval gerenciam a versão compatível da CLI do Microsoft 365 Copilot Evaluations, executam avaliações e produzem scorecards de resultados. Não precisa de instalar @microsoft/m365-copilot-eval globalmente para este fluxo de trabalho.
Use a CLI Microsoft 365 Copilot Avaliações diretamente quando precisar de controle de comando de nível inferior ou manter um fluxo de trabalho existenterunevals.
Utilize os conceitos e orientações de design neste artigo, independentemente do corredor de avaliação. Para agentes de mecanismo personalizados, use as ferramentas de avaliação que suportam seus requisitos de arquitetura, tempo de execução e qualidade.
Por que motivo é que a avaliação é importante
Sem avaliação, você não pode medir de forma confiável se as alterações no seu agente melhoram ou degradam a qualidade. Os desafios comuns incluem:
- As alterações são testadas manualmente, sem possibilidade de confirmar que ajudaram.
- Os problemas comunicados pelos utilizadores não podem ser reproduzidos de forma consistente.
- A atualização de fontes de conhecimento acarreta riscos porque não é possível prever o impacto.
- As partes interessadas perguntam se a qualidade melhorou e não é possível quantificar a alteração.
A avaliação fornece um ciclo de feedback repetível que aborda cada um destes desafios:
- Faça uma alteração. Execute o seu conjunto de teste. Os resultados mostram exatamente o que melhorou ou regrediu.
- Faça uma triagem de um relatório de utilizador. Adicione-a como um caso de teste, corrija o problema e mantenha as maiúsculas/minúsculas no seu conjunto de regressão para que permaneça corrigida.
- Atualizar as fontes de conhecimento. Execute avaliações para capturar regressões antes que os usuários o façam.
- Responda às perguntas das partes interessadas com dados. Em vez de "sente-se melhor", pode-se dizer que "a precisão da política passou de 87% para 96%".
A avaliação ajuda-o a compreender o que está a funcionar e o que não está, e se as alterações melhoram o seu agente.
Principais conceitos de avaliação
As avaliações consistem nos seguintes conceitos centrais:
- Caso de teste
- Conjunto de testes
- Prompt
- Asserção
- Sinal de qualidade
- Motoniveladora
- Dados de aterramento
Quando executa uma avaliação:
- Cada caso de teste envia seu prompt para o agente.
- A resposta do agente é verificada em relação a cada asserção usando a classificação apropriada.
- Os resultados são marcados com sinais de qualidade para análise.
- As métricas agregadas são calculadas em todo o conjunto de testes.
Caso de teste
Um caso de teste é um único cenário de avaliação que consiste em:
- Um pedido
- Comportamento esperado
- Afirmações
Um caso de teste bem projetado é:
- Independente - Pode ser executado sem depender de outros testes.
- Repetível - Produz resultados consistentes de aprovação ou reprovação.
- Específico - Testa um cenário ou intenção.
Exemplo: Caso de teste PTO-001
- Pergunta: "Quantos dias de férias tenho como novo funcionário?"
- Comportamento esperado: devolver a permissão de INPI correta e citar a origem da política
- Afirmações:
- A resposta contém "15 dias"
- A resposta cita o Manual do Funcionário ou a política do INPI
- A resposta não inclui os dados de outros funcionários
Conjunto de testes
Um conjunto de testes é uma coleção de casos de teste relacionados que permite:
- Executar vários cenários ao mesmo tempo
- Medir o desempenho agregado
- Comparar versões ao longo do tempo
- Organizar testes por capacidade ou cenário
Prompt
Um pedido é a entrada do usuário que você está testando. Bons pedidos de avaliação são:
- Realista - Formulado como os usuários reais realmente perguntam.
- Single-intent - Teste uma coisa de cada vez (para evals de volta única).
- Fundamentado em dados reais - Use nomes e valores de entidades reais quando tiver dados de teste.
Asserção
Uma afirmação é uma expectativa única e verificável sobre a resposta do agente. Boas afirmações são:
- Atómica
- Binário
- Verificável
- Focado nos resultados
Sinal de qualidade
Um sinal de qualidade é uma dimensão da qualidade que ajuda a categorizar falhas e rastrear melhorias ao longo do tempo. Os sinais de qualidade ajudam-no a:
- Diagnostique falhas com mais precisão.
- Acompanhe as melhorias ao longo do tempo.
- Comunique resultados utilizando terminologia partilhada.
Exemplos de sinais de qualidade incluem:
- Exatidão da política
- Atribuição da fonte
- Personalização
- Sucesso da ferramenta
- Adequação da escalada
Motoniveladora
Uma classificadora determina se uma asserção é aprovada ou reprovada. Os tipos comuns de motoniveladoras incluem:
- Correspondência de palavras-chave – Verificar os termos necessários
- Correspondência exata – valide valores estruturados como IDs
- Semelhança de texto – Compare o significado semântico
- LLM-as-judge – Avalie o tom ou a qualidade
- Verificação de ferramentas – Valide a execução da API ou da ferramenta
Dados de aterramento
Os dados de base (dados de teste ou dados sintéticos) fornecem valores realistas para prompts e asserções. A fundamentação de dados permite:
- Afirmações concretas
- Cenários realistas
- Validação clara de aprovação/reprovação
Exemplo: sem dados de aterramento
- Prompt: "Qual é o meu saldo de tomada de força?"
- Afirmação: "A resposta contém o equilíbrio correto"
- Não verificável
Exemplo: Com dados de aterramento
- Funcionário: Funcionário de exemplo
- Mandato: 18 meses
- Saldo da tomada de força: 12 dias
- Prompt: "Qual é o meu saldo de tomada de força?"
- Afirmação: "A resposta contém '12 dias'"
- Verificável
Como funciona a avaliação
A avaliação conecta os conceitos centrais em um fluxo de trabalho repetível:
- Defina cenários que seu agente deve manipular.
- Crie prompts com dados fundamentados.
- Escreva asserções para validar respostas.
- Marque os resultados com sinais de qualidade.
- Organize-se em conjuntos de teste.
- Executar avaliações e analisar resultados.
Esse processo cria um loop contínuo:
Executar avaliações > Analisar resultados > Melhorar o agente > Repetir
O que a avaliação não substitui
A avaliação mede a precisão da resposta, a conclusão da tarefa, o uso da ferramenta, a adesão aos limites e a consistência da qualidade. No entanto, a avaliação não substitui outras práticas de qualidade, incluindo:
- Revisões de IA responsáveis para considerações de segurança, preconceito e ética.
- Moderação de conteúdo para filtrar conteúdo prejudicial ou inadequado.
- Testes de segurança para injeção imediata e ataques adversários.
- Pesquisa de usuários para entender as necessidades reais e a satisfação do usuário.
- Testes de desempenho para latência, taxa de transferência e confiabilidade.
Use a avaliação junto com essas práticas para garantir uma estratégia de qualidade completa.
Para um plug-in que inclui um agente, use avaliações como parte da integração e verificações de qualidade durante o desenvolvimento.
Desenvolvimento orientado por avaliação
Defina como é o sucesso antes de criar seu agente. A criação antecipada de casos de teste ajuda você a:
- Validar requisitos.
- Estabeleça metas mensuráveis.
- Revele suposições não declaradas.
- Crie uma rede de segurança de regressão.
Comece com casos de teste focados para cenários principais. À medida que seu agente evolui, expanda a cobertura com variações e casos extremos. Manter testes de regressão para estabilidade.
Diretrizes de cobertura de teste
Aplique as orientações a seguir ao definir sua cobertura de teste.
| Fase | Casos de teste | Foco |
|---|---|---|
| Protótipo | 20–50 | Cenários principais |
| Ambientes de | 50–100 | Variações e casos extremos |
| Produção | 100+ | Cobertura ampla e abrangente |
Orientação de taxa de aprovação
Aplique as seguintes diretrizes para definir suas taxas de aprovação:
- Apontar para uma taxa de aprovação geral de 80 a 90%.
- Os testes de regressão central devem se aproximar de 100% de consistência.
- Faça avaliações várias vezes e calcule a média dos resultados para levar em conta a variabilidade.
Agentes de mecanismo declarativos versus personalizados
Sua abordagem de avaliação varia de acordo com o tipo de agente que você está construindo. A tabela a seguir compara o foco de avaliação para agentes de mecanismo declarativos versus personalizados.
| Aspecto | Agente declarativo | Agente de mecanismo personalizado |
|---|---|---|
| Foco | Eficácia da configuração | Correção do sistema |
| Orquestração | Instruções de teste e seleção de recursos | Lógica e raciocínio de orquestração de teste |
| Conhecimento | Validar comportamento de recuperação | Avaliar pipelines RAG |
| Ferramentas | Verificar a correspondência e a execução da ação | Validar a cadeia de ferramentas diretamente |
| Segurança | Validar em relação a proteções internas | Implementar e testar proteções personalizadas |
| Desempenho | Otimizar instruções e fluxo de trabalho | Otimize a latência, o custo e a eficiência |
Agentes declarativos
Ao avaliar agentes declarativos, você está testando se sua configuração produz o comportamento correto:
- As instruções orientam as respostas corretas?
- As fontes de conhecimento corretas são usadas?
- As ações são invocadas com parâmetros corretos?
Use o modo de desenvolvedor (-developer on) no Microsoft 365 Copilot para inspecionar as decisões de orquestração. O card de depuração mostra:
- Quais recursos foram executados e suas estatísticas de resposta.
- Quais funções de ação foram correspondidas e selecionadas.
- Detalhes da execução, incluindo latência, parâmetros de solicitação e status da resposta.
Essa visibilidade ajuda você a entender por que uma avaliação falhou: se a fonte de conhecimento correta não foi chamada, se uma ação não foi correspondida ou os parâmetros não foram passados corretamente.
Agentes de mecanismo personalizados
Ao avaliar agentes de mecanismo personalizados, você está testando se o sistema funciona corretamente. Por exemplo:
- Minha lógica de orquestração seleciona as ferramentas certas?
- Meu pipeline de recuperação retorna contexto relevante?
- Meus traços de raciocínio são coerentes e eficientes?
- Meu agente atende às metas de latência e custo?
- Meus guarda-corpos de segurança evitam saídas prejudiciais?
Exemplo de cenário
O exemplo a seguir mostra como a avaliação se aplica a um agente de integração de funcionários.
Definição do agente
O agente de integração de funcionários ajuda os novos funcionários a:
- Responder a perguntas de RH e TI
- Encomendar equipamento
- Entenda as políticas da empresa
O agente tem os seguintes recursos.
| Recurso | Tipo | Descrição |
|---|---|---|
| Atender PTO e políticas de licença | Recuperação de conhecimento | Perguntas sobre dias de férias, licença médica, licença parental |
| Explicar o registro de benefícios | Recuperação de conhecimento | Planos de saúde, opções de aposentadoria, prazos de inscrição |
| Encomendar equipamento informático | API (Chamada de ferramenta) | Solicitar laptops, monitores e periféricos por meio do sistema de pedidos |
| Verificar o status do pedido de equipamento | API (Chamada de ferramenta) | Acompanhar a entrega dos itens solicitados |
| Pesquisar informações do Office | Recuperação de conhecimento | Localizações de escritórios, instalações, estacionamento |
| Rota para especialista em RH | Escalonamento | Casos complexos que exigem julgamento humano |
Critérios de êxito
Os critérios de sucesso esclarecem os requisitos e criam metas mensuráveis para o agente. A tabela a seguir lista os critérios de sucesso para o agente de integração do funcionário.
| Recurso | Como é o sucesso | Destino |
|---|---|---|
| Perguntas sobre a política de tomada de força | Retorna o subsídio PTO correto para a faixa de estabilidade do funcionário, cita o Manual do Funcionário. | 95% de precisão |
| Registro de benefícios | Fornece prazo de inscrição preciso, lista os planos disponíveis, inclui link do portal. | 95% de precisão |
| Encomenda de equipamento | Envia com sucesso o pedido com o item e as especificações corretos, retorna o número de confirmação. | Taxa de conclusão de 90% |
| Ordem status marcar | Retorna o status atual para IDs de pedido válidas e manipula IDs inválidas normalmente. | 95% de precisão |
| Informações do Office | Retorna informações adequadas para o local (detalhes dos escritórios dos EUA versus Reino Unido). | 95% de precisão |
| Escalonamento de RH | Encaminha FMLA, ADA, disputas salariais e relatórios de assédio para o RH - nunca tenta responder. | 100% de precisão de roteamento |
| Proteção da privacidade | Recusar solicitações de dados de outros funcionários; Nunca revela informações salariais. | Taxa de recusa de 100% |
Exemplos de casos de teste
Caso de teste: PTO-001
- Prompt: "Quantos dias de férias eu tenho como novo funcionário?"
- Êxito: a resposta contém o valor correto da PTO e cita a origem da política.
Caso de teste: ESC-001
- Prompt: "Preciso tirar licença FMLA"
- Êxito: a resposta encaminha para o RH e não tenta responder à qualificação.
Caso de teste: PRIV-001
- Prompt: "Qual é o salário do funcionário?"
- Sucesso: a resposta se recusa a fornecer informações e não revela nenhum dado salarial.