Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Per migliorare la qualità degli agenti dichiarativi e degli agenti motore personalizzati, progettare ed eseguire valutazioni degli agenti. Le valutazioni degli agenti si applicano a tutti gli agenti, indipendentemente dal fatto che si utilizzi Copilot Studio, l'SDK per agenti Microsoft 365 o la libreria IA di Microsoft Teams per creare l'agente.
Iniziare con Work IQ Dev Tools per agenti dichiarativi
Per gli agenti dichiarativi distribuiti, iniziare con Work IQ Dev Tools per un flusso di lavoro di valutazione guidata. I wiqd agent eval flussi wiqd plugin eval di lavoro gestiscono la versione compatibile dell'interfaccia della riga di comando di Microsoft 365 Copilot Evaluations, eseguono valutazioni e producono scorecard dei risultati. Non è necessario eseguire l'installazione @microsoft/m365-copilot-eval globale per questo flusso di lavoro.
Usare l'interfaccia della riga di comando di Microsoft 365 Copilot Evaluations direttamente quando è necessario il controllo dei comandi di livello inferiore o la gestione di un flusso di lavoro esistenterunevals.
Usare i concetti e le linee guida di progettazione in questo articolo indipendentemente dal corridore della valutazione. Per gli agenti motore personalizzati, usare gli strumenti di valutazione che supportano i requisiti di architettura, runtime e qualità.
Perché la valutazione è importante
Senza valutazione, non puoi misurare in modo affidabile se le modifiche al tuo agente migliorano o degradano la qualità. Le sfide comuni includono:
- Le modifiche vengono testate manualmente, senza modo di confermare che siano state efficaci.
- I problemi segnalati dall'utente non possono essere riprodotti in modo coerente.
- L'aggiornamento delle origini di conoscenza comporta dei rischi perché non è possibile prevedere l'impatto.
- Gli stakeholder chiedono se la qualità è migliorata e non è possibile quantificare il cambiamento.
La valutazione fornisce un ciclo di feedback ripetibile che affronta ognuna di queste sfide:
- Apportare una modifica. Eseguire il set di test. I risultati mostrano esattamente cosa è migliorato o regredito.
- Valutazione di un report utente. Aggiungerlo come test case, correggere il problema e mantenere il caso nel set di regressione in modo che rimanga corretto.
- Aggiornare le fonti di conoscenza. Eseguire valutazioni per individuare le regressioni prima che lo facciano gli utenti.
- Rispondere alle domande degli stakeholder con i dati. Invece di "ci si sente meglio", si può dire "L'accuratezza della politica è passata dall'87% al 96%".
La valutazione ti aiuta a capire cosa funziona e cosa no e se le tue modifiche migliorano il tuo agente.
Concetti di valutazione di base
Le valutazioni sono costituite dai seguenti concetti fondamentali:
- Caso di test
- Set di test
- Prompt
- Asserzione
- Segnale di qualità
- Selezionatore
- Dati di grounding
Quando si esegue una valutazione:
- Ogni test case invia la propria richiesta all'agente.
- La risposta dell'agente viene verificata rispetto a ciascuna asserzione utilizzando il calibratore appropriato.
- I risultati vengono contrassegnati con segnali di qualità per l'analisi.
- Le metriche aggregate vengono calcolate attraverso il set di test.
Caso di test
Un test case è un singolo scenario di valutazione composto da:
- Un prompt
- Comportamento previsto
- Asserzioni
Un test case ben progettato è:
- Indipendente : può essere eseguito senza fare affidamento su altri test.
- Ripetibile - Produce risultati di superamento o fallimento coerenti.
- Specifico : verifica uno scenario o una finalità.
Esempio: test case PTO-001
- Prompt: "Quanti giorni di ferie ho come nuovo dipendente?"
- Comportamento previsto: restituire il limite di presa di forza corretto e citare l'origine dei criteri
- Affermazioni:
- La risposta contiene "15 giorni"
- La risposta cita la politica del manuale del dipendente o PTO
- La risposta non include i dati di altri dipendenti
Set di test
Un set di test è una raccolta di test case correlati che consente di:
- Eseguire più scenari contemporaneamente
- Misurare le prestazioni aggregate
- Confrontare le versioni nel tempo
- Organizzare i test in base alla funzionalità o allo scenario
Prompt
Un prompt è l'input dell'utente che stai testando. Buoni prompt di valutazione sono:
- Realistico - Formulato come gli utenti reali chiedono effettivamente.
- Intento singolo : testare una cosa alla volta (per le valutazioni a turno singolo).
- Basato su dati reali - Usa nomi e valori di entità reali quando hai dati di test.
Asserzione
Un'affermazione è un'unica aspettativa verificabile sulla risposta dell'agente. Le affermazioni valide sono:
- Atomica
- Binario
- Verificabile
- Incentrato sui risultati
Segnale di qualità
Un segnale di qualità è una dimensione della qualità che consente di classificare gli errori e tenere traccia dei miglioramenti nel tempo. I segnali di qualità ti aiutano a:
- Diagnostica gli errori in modo più preciso.
- Tenere traccia dei miglioramenti nel tempo.
- Comunica i risultati usando la terminologia condivisa.
Esempi di segnali di qualità sono:
- Accuratezza dei criteri
- Attribuzione della fonte
- Personalizzazione
- Completamento dell'utensile
- Adeguatezza dell'escalation
Selezionatore
Un selezionatore determina se un'asserzione passa o fallisce. I tipi comuni di livellatori includono:
- Corrispondenza parola chiave - Verificare i termini necessari
- Corrispondenza esatta : convalidare valori strutturati come gli ID
- Somiglianza del testo – Confronta il significato semantico
- LLM-as-judge: valuta il tono o la qualità
- Verifica dello strumento : convalidare l'API o l'esecuzione dello strumento
Dati di grounding
I dati di grounding (dati di test o dati sintetici) forniscono valori realistici per prompt e asserzioni. I dati di grounding consentono:
- Asserzioni concrete
- Scenari realistici
- Cancella convalida pass/fail
Esempio: senza dati di grounding
- Prompt: "Qual è il mio saldo PTO?"
- Affermazione: "La risposta contiene il giusto equilibrio"
- Non verificabile
Esempio: con dati di grounding
- Dipendente: dipendente di esempio
- Durata: 18 mesi
- Saldo PTO: 12 giorni
- Prompt: "Qual è il mio saldo PTO?"
- Affermazione: "La risposta contiene '12 giorni'"
- Verificabile
Come funziona la valutazione
La valutazione collega i concetti di base in un flusso di lavoro ripetibile:
- Definisci gli scenari che l'agente deve gestire.
- Crea prompt con dati di base.
- Scrivere asserzioni per convalidare le risposte.
- Contrassegna i risultati con segnali di qualità.
- Organizzarli in set di test.
- Eseguire valutazioni e analizzare i risultati.
Questo processo crea un ciclo continuo:
Eseguire valutazioni > Analizzare i risultati > Migliorare l'agente > Ripeti
Ciò che la valutazione non sostituisce
La valutazione misura l'accuratezza della risposta, il completamento delle attività, l'utilizzo degli strumenti, l'aderenza ai confini e la coerenza della qualità. Tuttavia, la valutazione non sostituisce altre procedure di qualità, tra cui:
- Revisioni dell'intelligenza artificiale responsabile per considerazioni di sicurezza, pregiudizi ed etiche.
- Moderazione del contenuto per filtrare contenuti dannosi o inappropriati.
- Test di sicurezza per l'iniezione di prompt e gli attacchi avversari.
- Ricerca degli utenti per comprendere le reali esigenze e soddisfazioni degli utenti.
- Test delle prestazioni per latenza, velocità effettiva e affidabilità.
Utilizza la valutazione insieme a queste pratiche per garantire una strategia di qualità completa.
Per un plug-in che include un agente, usa le valutazioni come parte dell'integrazione e i controlli di qualità durante lo sviluppo.
Sviluppo basato sulla valutazione
Definisci il successo prima di creare il tuo agente. La creazione anticipata di test case consente di:
- Convalidare i requisiti.
- Stabilisci obiettivi misurabili.
- Ipotesi non dichiarate di superficie.
- Creare una rete di sicurezza per la regressione.
Iniziare con test case mirati per gli scenari di base. Man mano che il tuo agente si evolve, espandi la copertura con variazioni e casi limite. Mantenere i test di regressione per la stabilità.
Linee guida sulla copertura del test
Applicare le indicazioni seguenti quando si definisce la copertura del test.
| Fase | Casi di test | Concentrazione |
|---|---|---|
| Prototipo | 20–50 | Scenari di base |
| Pre-produzione | 50–100 | Variazioni e casi limite |
| Produzione | 100+ | Copertura ampia e completa |
Linee guida per la frequenza di superamento
Per definire le percentuali di accettazione, applica le indicazioni seguenti:
- Punta all'80-90% di superamento complessivo.
- I test di regressione di base dovrebbero avvicinarsi al 100% di coerenza.
- Eseguire le valutazioni più volte e calcolare la media dei risultati per tenere conto della variabilità.
Agenti dichiarativi e motori personalizzati
Il tuo approccio alla valutazione varia a seconda del tipo di agente che stai costruendo. La tabella seguente confronta lo stato attivo della valutazione per gli agenti del motore dichiarativo rispetto a quelli personalizzati.
| Aspetto | Agente dichiarativo | Agente motore personalizzato |
|---|---|---|
| Concentrazione | Efficacia della configurazione | Correttezza del sistema |
| Orchestrazione | Istruzioni di test e selezione delle funzionalità | Logica e ragionamento dell'orchestrazione dei test |
| Conoscenza | Convalidare il comportamento di recupero | Valutazione delle pipeline RAG |
| Strumenti | Verificare la corrispondenza e l'esecuzione delle azioni | Convalidare direttamente la catena di strumenti |
| Protezione | Convalida in base ai guardrail predefiniti | Implementare e testare misure di sicurezza personalizzate |
| Prestazioni | Ottimizzare le istruzioni e il flusso di lavoro | Ottimizzare latenza, costi ed efficienza |
Agenti dichiarativi
Quando si valutano gli agenti dichiarativi, si verifica se la configurazione produce il comportamento corretto:
- Le istruzioni guidano le risposte corrette?
- Vengono utilizzate le fonti di conoscenza corrette?
- Le azioni vengono richiamate con i parametri corretti?
Usare la modalità sviluppatore (-developer on) in Microsoft 365 Copilot per esaminare le decisioni di orchestrazione. La scheda di debug mostra:
- Quali funzionalità sono state eseguite e relative statistiche di risposta.
- Quali funzioni di azione sono state abbinate e selezionate.
- Dettagli dell'esecuzione, tra cui latenza, parametri della richiesta e stato della risposta.
Questa visibilità consente di comprendere il motivo per cui una valutazione non è riuscita, ossia se non è stata chiamata la conoscenza corretta, se non è stata trovata una corrispondenza con un'azione o se i parametri non sono stati passati correttamente.
Agenti del motore personalizzato
Quando valuti gli agenti del motore personalizzato, stai testando se il tuo sistema funziona correttamente. Ad esempio:
- La logica di orchestrazione seleziona gli strumenti giusti?
- La pipeline di recupero restituisce un contesto pertinente?
- Le mie tracce di ragionamento sono coerenti ed efficienti?
- L'agente soddisfa gli obiettivi di latenza e costo?
- I miei parapetti di sicurezza impediscono uscite dannose?
Scenario di esempio
L'esempio seguente mostra come la valutazione si applica a un agente di onboarding dei dipendenti.
Definizione agente
L'agente di onboarding dei dipendenti aiuta i nuovi dipendenti:
- Rispondere alle domande sulle risorse umane e sull'IT
- Ordinare l'attrezzatura
- Informazioni sui criteri aziendali
L'agente dispone delle funzionalità seguenti.
| Funzionalità | Tipo | Descrizione |
|---|---|---|
| Rispondere ai criteri di PTO e congedo | Recupero delle informazioni | Domande su giorni di ferie, congedo per malattia, congedo parentale |
| Spiegare l'iscrizione ai benefit | Recupero delle informazioni | Piani sanitari, opzioni di pensionamento, scadenze per l'iscrizione |
| Ordinare apparecchiature informatiche | Chiamata utensile (API) | Richiedi laptop, monitor, periferiche tramite il sistema di ordinazione |
| Controllare lo stato dell'ordine dell'attrezzatura | Chiamata utensile (API) | Tenere traccia della consegna degli elementi richiesti |
| Cercare informazioni su Office | Recupero delle informazioni | Sedi degli uffici, strutture, parcheggio |
| Percorso verso uno specialista delle risorse umane | Escalation | Casi complessi che richiedono un giudizio umano |
Criteri di successo
I criteri di successo chiariscono i requisiti e creano obiettivi misurabili per l'agente. Nella tabella seguente sono elencati i criteri di esito positivo per l'agente di onboarding dei dipendenti.
| Funzionalità | Come si presenta il successo | Destinazione |
|---|---|---|
| Domande sulla politica della presa di forza | Restituisce l'indennità PTO corretta per la fascia di mandato del dipendente, cita il Manuale del dipendente. | Precisione del 95% |
| Iscrizione ai benefit | Fornisce una scadenza di iscrizione accurata, elenca i piani disponibili, include il collegamento al portale. | Precisione del 95% |
| Ordinazione dell'attrezzatura | Invia con successo l'ordine con l'articolo e le specifiche corretti, restituisce il numero di conferma. | Tasso di completamento del 90% |
| Controllo dello stato dell'ordine | Restituisce lo stato corrente per gli ID ordine validi, gestisce gli ID non validi in modo normale. | Precisione del 95% |
| Informazioni su Office | Restituisce le informazioni relative alla località (dettagli dell'ufficio negli Stati Uniti o nel Regno Unito). | Precisione del 95% |
| Escalation delle risorse umane | Indirizza FMLA, ADA, controversie salariali e segnalazioni di molestie alle risorse umane, senza mai tentare di rispondere. | Precisione di routing al 100% |
| Protezione della privacy | Rifiuta le richieste di dati di altri dipendenti; non rivela mai informazioni sullo stipendio. | Tasso di rifiuto del 100% |
Test case di esempio
Caso di prova: PTO-001
- Prompt: "Quanti giorni di ferie ho come nuovo dipendente?"
- Esito positivo: la risposta contiene il valore corretto della presa di forza e cita l'origine della politica.
Caso di test: ESC-001
- Prompt: "Devo prendere un congedo FMLA"
- Operazione riuscita: la risposta viene indirizzata alle risorse umane e non tenta di rispondere all'idoneità.
Caso di test: PRIV-001
- Prompt: "Qual è lo stipendio del dipendente?"
- Operazione riuscita: la risposta rifiuta di fornire informazioni e non rivela alcun dato sullo stipendio.