Panoramica dell'interfaccia della riga di comando delle valutazioni di Microsoft 365 Copilot

L'interfaccia della riga di comando di Microsoft 365 Copilot Evaluations (@microsoft/m365-copilot-evalprecedentemente denominata Agent Evaluations CLI), consente di testare, misurare e migliorare la qualità degli agenti con valutazioni strutturate e report dei risultati. L'anteprima CLI v2 supporta anche la valutazione delle risposte di Microsoft 365 Copilot che usano plug-in.

Importante

Per gli agenti dichiarativi distribuiti, iniziare con Work IQ Dev Tools per un flusso di lavoro guidato. Work IQ Dev Tools gestisce la versione compatibile dell'interfaccia della riga di comando di Microsoft 365 Copilot Evaluations e la espone tramite wiqd agent eval. Utilizzare la guida CLI autonoma in questa sezione quando è necessario il controllo dei comandi di livello inferiore o la gestione di un flusso di lavoro esistente runevals .

Scegliere una versione CLI

Il nome e runevals il comando del pacchetto npm rimangono invariati.

Versione Tag npm Ambito di valutazione
V1 latest Agenti distribuiti. La guida introduttiva illustra questa versione.
Anteprima V2 preview Agenti distribuiti e risposte di Microsoft 365 Copilot che usano plug-in. Obbligatorio per gli analizzatori di chiamate agli strumenti con schema v2.

Nell'anteprima v2, un'esecuzione senza un ID agente configurato valuta la chat di Microsoft 365 Copilot invece di selezionare un agente. Per le esecuzioni di plug-in, effettuare prima il provisioning e abilitare il plug-in in Copilot, quindi rimuovere M365_AGENT_ID e legacy AGENT_ID dalla shell e dai file di ambiente caricati. Questa configurazione valuta l'esperienza Copilot, non un endpoint del plug-in in isolamento.

Per l'installazione di anteprima e gli esempi di set di dati di chiamata di strumenti, vedere Analizzatori di chiamata di strumenti.

Cosa è possibile fare

Lo strumento di valutazione offre le funzionalità seguenti:

  • Eseguire valutazioni batch e interattive.
  • Assegnare automaticamente un punteggio alle risposte usando la valutazione cloud di Microsoft Foundry e le metriche predefinite.
  • Esegui il test usando set di dati JSON, prompt inline o input interattivo.
  • Genera report nei formati HTML, JSON o CSV.

Metriche di valutazione

Gli analizzatori delle risposte assegnano un punteggio alla qualità delle risposte. Gli analizzatori delle chiamate allo strumento esaminano la diagnostica di runtime anziché il testo della risposta.

Valutatore Type Scale Soglia predefinita Predefinito
Rilevanza Basato su LLM 1-5 3 Sì
Coerenza Basato su LLM 1-5 3 Sì
Radicamento Basato su LLM 1-5 3 No
Somiglianza Basato su LLM 1-5 3 No
RetrievalQuery Non LLM Pass/fail N/D No
RetrievalResult Non LLM Proporzionale 1,0 No
ToolCallSelection (anteprima V2) Non LLM Esito positivo/negativo/errore 1.0, fisso No
ToolCallExecution (anteprima V2) Non LLM Esito positivo/negativo/errore 1.0, fisso No
Citazioni In base al conteggio >= 0 1 No
ExactMatch Corrispondenza stringa Valore booleano N/D No
PartialMatch Corrispondenza stringa 0.0-1.0 0,5 No

Per informazioni dettagliate su ogni analizzatore, incluse le opzioni di configurazione e i set di dati di esempio, vedere Informazioni di riferimento sui valutatori.

Come funziona il flusso di lavoro di valutazione

Le valutazioni seguono un flusso di lavoro coerente:

  1. Installare e configurare l'interfaccia della riga di comando.
  2. Fornire la configurazione dell'ambiente e le credenziali.
  3. Creare un set di dati di richieste di test.
  4. Eseguire valutazioni sull'agente.
  5. Rivedi i risultati e fai iterazione.

Variabili di ambiente necessarie

Lo strumento di valutazione usa le variabili di ambiente per autenticarsi e connettersi al tenant e al progetto di Microsoft Foundry. Le impostazioni seguenti descrivono il flusso di lavoro di valutazione dell'agente v1. Le esecuzioni che usano solo analizzatori deterministici, inclusi gli analizzatori delle chiamate agli strumenti nell'anteprima v2, non richiedono la configurazione del punteggio di Microsoft Foundry.

Variabile Descrizione Impostazione predefinita
TENANT_ID ID tenant di Microsoft Entra in cui è distribuito l'agente. Nessuno
AZURE_AI_PROJECT_ENDPOINT Endpoint del progetto Microsoft Foundry usato per la valutazione cloud. Obbligatorio per il giudice LLM di Microsoft Foundry, non per i valutatori deterministici. Nessuno
AZURE_AI_MODEL_NAME Nome della distribuzione del modello nel progetto Microsoft Foundry. gpt-5-mini
M365_TITLE_ID (Facoltativo) ID titolo usato per rilevare automaticamente l'ID agente di Microsoft 365 per la valutazione. Nessuno
M365_AGENT_ID (Facoltativo) ID agente esplicito per la valutazione. Rilevato automaticamente da M365_TITLE_ID

Questi valori abilitano l'autenticazione e consentono allo strumento di eseguire il punteggio di valutazione basato su LLM usando Microsoft Foundry. Per informazioni dettagliate su come ottenere questi valori, vedere Ottenere valori per le variabili di ambiente.