Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A CLI de Avaliações do Microsoft 365 Copilot (@microsoft/m365-copilot-eval), anteriormente chamada de CLI de Avaliações de Agente, ajuda você a testar, medir e melhorar a qualidade de seus agentes com avaliações estruturadas e relatórios de resultados. A versão prévia da CLI v2 também dá suporte à avaliação de respostas do Microsoft 365 Copilot que usam plug-ins.
Importante
Para agentes declarativos implantados, comece com o Work IQ Dev Tools para um fluxo de trabalho guiado. O Work IQ Dev Tools gerencia a versão compatível da CLI de Avaliações do Microsoft 365 Copilot e a expõe por meio do wiqd agent eval Use as diretrizes de CLI autônomas nesta seção quando precisar de controle de comando de nível inferior ou manter um fluxo de trabalho existente runevals .
Escolha uma versão da CLI
O nome e runevals o comando do pacote npm permanecem inalterados.
| Versão | marca npm | Escopo de avaliação |
|---|---|---|
| v1 | latest |
Agentes implantados. O início rápido aborda esta versão. |
| Visualização V2 | preview |
Agentes implantados e respostas do Microsoft 365 Copilot que usam plug-ins. Necessário para avaliadores de chamada de ferramenta com esquema v2. |
Na versão prévia v2, uma execução sem uma ID de agente configurada avalia o chat do Microsoft 365 Copilot em vez de selecionar um agente. Para execuções de plug-in, provisione e habilite o plug-in no Copilot primeiro e remova M365_AGENT_ID um legado AGENT_ID do shell e dos arquivos de ambiente carregados. Essa configuração avalia a experiência do Copilot, não um ponto de extremidade de plug-in isoladamente.
Para obter exemplos de conjunto de dados de instalação de visualização e chamada de ferramenta, consulte Avaliadores de chamada de ferramenta.
O que você pode fazer
A ferramenta de avaliação fornece os seguintes recursos:
- Execute avaliações em lote e interativas.
- Pontue respostas automaticamente usando a avaliação na nuvem do Microsoft Foundry e métricas internas.
- Teste usando conjuntos de dados JSON, prompts embutidos ou entrada interativa.
- Gere relatórios nos formatos HTML, JSON ou CSV.
Métricas de avaliação
Os avaliadores de resposta pontuam a qualidade da resposta. Os avaliadores de chamada de ferramenta inspecionam os diagnósticos de tempo de execução em vez do texto de resposta.
| Avaliador | Tipo | Scale | Limite Padrão | Default |
|---|---|---|---|---|
| Relevância | Baseado em LLM | 1-5 | 3 | Sim |
| Coerência | Baseado em LLM | 1-5 | 3 | Sim |
| Aterramento | Baseado em LLM | 1-5 | 3 | Não |
| Similaridade | Baseado em LLM | 1-5 | 3 | Não |
| RetrievalQuery | Não LLM | Aprovado/reprovado | N/D | Não |
| RetrievalResult | Não LLM | Proporcional | 1,0 | Não |
| ToolCallSelection (versão prévia v2) | Não LLM | Aprovado/reprovado/erro | 1.0, corrigido | Não |
| ToolCallExecution (versão prévia v2) | Não LLM | Aprovado/reprovado/erro | 1.0, corrigido | Não |
| Citações | Com base em contagem | >= 0 | 1 | Não |
| ExactMatch | Correspondência de cadeia de caracteres | booleano | N/D | Não |
| PartialMatch | Correspondência de cadeia de caracteres | 0.0-1.0 | 0,5 | Não |
Para obter informações detalhadas sobre cada avaliador, incluindo opções de configuração e conjuntos de dados de amostra, consulte Referência de avaliadores.
Como funciona o fluxo de trabalho de avaliação
As avaliações seguem um fluxo de trabalho consistente:
- Instale e configure a CLI.
- Forneça a configuração e as credenciais do ambiente.
- Crie um conjunto de dados de prompts de teste.
- Executar avaliações em seu agente.
- Reveja os resultados e itere.
Variáveis de ambiente necessárias
A ferramenta de avaliação utiliza variáveis de ambiente para autenticar e ligar ao seu inquilino e ao projeto do Microsoft Foundry. As configurações a seguir descrevem o fluxo de trabalho de avaliação do agente v1. As execuções que utilizam apenas avaliadores determinísticos, incluindo avaliadores de chamada de ferramentas na pré-visualização da v2, não necessitam da configuração de pontuação do Microsoft Foundry.
| Variável | Descrição | Padrão |
|---|---|---|
TENANT_ID |
Microsoft Entra ID de inquilino onde o seu agente está implementado. | Nenhum |
AZURE_AI_PROJECT_ENDPOINT |
Ponto final do projeto Microsoft Foundry utilizado para avaliação na nuvem. Obrigatório para o juiz Microsoft Foundry LLM, não para avaliadores determinísticos. | Nenhum |
AZURE_AI_MODEL_NAME |
Nome da implementação do modelo no seu projeto do Microsoft Foundry. | gpt-5-mini |
M365_TITLE_ID (opcional) |
ID de título utilizado para detetar automaticamente o ID de agente do Microsoft 365 para avaliação. | Nenhum |
M365_AGENT_ID (opcional) |
ID explícito do agente para avaliação. | Detetada automaticamente a partir de M365_TITLE_ID |
Estes valores ativam a autenticação e permitem que a ferramenta execute classificações de avaliação baseadas em LLM ao utilizar o Microsoft Foundry. Para obter detalhes sobre como obter esses valores, consulte Obter valores para variáveis de ambiente.
Conteúdo relacionado
- Verifique a integração e a qualidade durante o desenvolvimento do plugin
- Guia de início rápido: usar a CLI Microsoft 365 Copilot avaliações
- Esquema de conjunto de dados e design de teste
- Referência dos avaliadores
- Avaliadores de chamada de ferramentas (pré-visualização v2)
- Referência da CLI
- Suporte e solução de problemas