Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
[Denna artikel är en förhandsversion av dokumentationen och kan komma att ändras.]
Fliken Utvärdera i den nya agentupplevelsen ger strukturerad, upprepbar testning för din agent. Använd utvärderingar för att mäta agentkvalitet över testfall, följa förbättringar över tid och validera din agents beteende innan du publicerar det.
Important
- Det här är en förhandsgranskningsfunktion som är produktionsklar.
- Produktionsklara förhandsversioner är föremål för tilläggsvillkor.
Vad är agentutvärdering?
Med agentutvärdering kan du systematiskt testa din agents svar mot kvalitetsstandarder. Istället för att testa varje scenario manuellt i fliken Förhandsgranskning , skapa utvärderingar med testkonversationer, definiera hur svaren ska mätas och kör utvärderingarna för att få kvantitativa resultat.
Utvärdering hjälper dig att besvara frågor som dessa:
- Svarar agenten korrekt i en rad förväntade scenarier?
- Förbättrade eller försämrade en konfigurationsändring svarskvaliteten?
- Anropar agenten verktyg när den ska?
Viktiga begrepp
Följande nyckelbegrepp är centrala när du genomför utvärderingar i Copilot Studio:
Konversationer
En konversation är ett testfall som representerar ett scenario du vill att din agent ska hantera. Varje konversation innehåller användarmeddelanden och eventuellt förväntade agent svar. Organisera konversationer i utvärderingar. Skapa konversationer manuellt, generera dem med AI eller ladda upp dem från en CSV-fil.
Evaluations
En utvärdering är en namngiven testuppsättning som kombinerar konversationer med en testmetod. Du skapar utvärderingar från fliken Utvärdera, lägger till konversationer i dem och kör dem sedan för att få poängsatta resultat.
Testmetoder
Testmetoder definierar hur agentens svar poängsätts. För närvarande är den enda tillgängliga testmetoden General quality, en AI-baserad bedömning av om svaren uppfyller kvalitetsstandarder, såsom relevans och fullständighet.
Note
General quality-testmetoden jämför inte svar med förväntade svar.
Användarprofil
Utvärderingar och anslutningar som används av verktyg körs med den användarprofil som är inloggad för närvarande. Du kan inte ansluta till en annan användare medan du är inloggad. För att köra en utvärdering som en annan användare, logga ut, logga in med den användarens konto och starta sedan utvärderingen.
Kreditanvändning
Utvärdera ytor av uppskattad Copilot Credit-användning under hela testprocessen, så att du kan förstå kostnaden för testkvalitet innan du kör större testsviter. Du kan se vilka upplevelser som använder krediter, en uppskattad total för varje utvärderingskörning, en uppdelning mellan genererande och poänggivande svar samt kreditanvändning på individuell testfallnivå. Läs mer i Förstå uppskattad kreditanvändning.
Utvärderingsarbetsflöde
Följ dessa steg för att utvärdera en mäklare:
- Skapa en utvärdering: På fliken Utvärdera, starta en ny utvärdering. Läs mer i Skapa en testuppsättning för en agent.
- Lägg till konversationer: Lägg till testkonversationer genom att skriva dem manuellt, generera dem med AI eller ladda upp en CSV-fil.
- Konfigurera: Namnge utvärderingen, välj en testmetod och välj agentversionen.
- Kör utvärderingen: Välj Utvärdera för att köra testet och vänta på resultaten. Läs mer i Gör en utvärdering av en mäklare.
- Granska resultat: Analysera poäng och identifiera områden för förbättring. Läs mer i Visa utvärderingsresultat för en mäklare.
- Iterera: Justera din agents instruktioner, kunskap eller verktyg, och kör sedan utvärderingen igen för att mäta effekten.
Limitations
Utvärderingar stöder endast agenter inställda på att använda Ingen autentisering eller Autentisera med Microsoft. Agenter som är inställda på Autentisera manuellt stöds inte.