Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
[Questo articolo fa parte della documentazione non definitiva, pertanto è soggetto a modifiche.]
La scheda Valuta nell'esperienza del nuovo agente offre test strutturati e ripetibili per il tuo agente. Usa le valutazioni per misurare la qualità dell'agente tra i casi di test, monitorare i miglioramenti nel tempo e validare il comportamento del tuo agente prima di pubblicarlo.
Importante
- Questa è una funzionalità di anteprima pronta per la produzione.
- Le anteprime pronte per la produzione sono soggette a condizioni per l'utilizzo supplementari.
Cos'è la valutazione degli agenti?
La valutazione dell'agente ti permette di testare sistematicamente le risposte del tuo agente rispetto agli standard di qualità. Invece di testare manualmente ogni scenario nella scheda Anteprima , crea valutazioni con conversazioni di test, definisci come misurare le risposte ed esegui le valutazioni per ottenere risultati quantitativi.
La valutazione ti aiuta a rispondere a domande come queste:
- Risponde correttamente l'agente in una gamma di scenari previsti?
- La modifica della configurazione ha migliorato o peggiorato la qualità della risposta?
- L'agente chiama gli strumenti quando dovrebbe?
Concetti chiave
I seguenti concetti sono fondamentali quando si eseguono le valutazioni in Copilot Studio:
Conversazioni
Una conversazione è un caso di prova che rappresenta uno scenario che vuoi che il tuo agente gestisca. Ogni conversazione include messaggi degli utenti e, opzionalmente, le risposte attese dell'agente. Organizza le conversazioni in valutazioni. Create conversazioni manualmente, generatele con l'IA oppure caricatele da un file CSV.
Evaluations
Una valutazione è un insieme di test denominato che combina conversazioni con un metodo di test. Crei valutazioni dalla scheda Valuta, aggiungi conversazioni ad esse e poi le esegui per ottenere risultati punteggiati.
Metodi di test
I metodi di prova definiscono come vengono valutate le risposte dell'agente. Attualmente, l'unico metodo di test disponibile è la qualità generale, una valutazione basata sull'IA per verificare se le risposte soddisfano standard di qualità, come rilevanza e completezza.
Note
Il metodo di test della qualità generale non confronta le risposte con quelle attese.
Il profilo utente
Le valutazioni e le connessioni utilizzate dagli strumenti vengono eseguiti con il profilo utente attualmente connesso. Non puoi connetterti con un altro utente mentre sei connesso. Per eseguire una valutazione come utente diverso, disconnetti, accedi con l'account di quell'utente e poi inizia la valutazione.
Utilizzo del credito
Valuta le superfici stimate dell'utilizzo del credito Copilot durante tutto il processo di test, così da comprendere il costo della qualità dei test prima di eseguire suite di test più grandi. Puoi vedere quali esperienze utilizzano i crediti, un totale stimato per ogni esecuzione di valutazione, una suddivisione tra la generazione e la valutazione delle risposte, e l'utilizzo del credito a livello di caso di test. Scopri di più in Comprendi l'uso stimato del credito.
Flusso di lavoro di valutazione
Segui questi passaggi per valutare un agente:
- Crea una valutazione: nella scheda Valuta, inizia una nuova valutazione. Scopri di più in Crea un set di test per un agente.
- Aggiungi conversazioni: aggiungi conversazioni di test scrivendole manualmente, generandole tramite intelligenza artificiale o caricando un file CSV.
- Configura: Nomina la valutazione, seleziona un metodo di test e scegli la versione dell'agente.
- Esegui la valutazione: seleziona Valuta per eseguire il test e attendi i risultati. Scopri di più in Esegui una valutazione per un agente.
- Rivedi i risultati: analizza i punteggi e individua le aree di miglioramento. Scopri di più in Visualizza i risultati delle valutazioni di un agente.
- Iterare: Adatta le istruzioni, le conoscenze o gli strumenti del tuo agente, poi ripeti la valutazione per misurare l'impatto.
Limitations
Le valutazioni supportano solo gli agenti impostati per usare Nessuna autenticazione o Autenticazione con Microsoft. Gli agenti impostati su Autentica manualmente non sono supportati.