Skapa en konversationstestuppsättning

Med konversationsutvärdering kan du utvärdera agentens allmänna beteende över en längre interaktion. Den visar hur verkliga användare interagerar med agenter, där varje svar beror på tidigare kontext i en pågående konversation. Du kan använda dessa utvärderingar för att avgöra om en agent kan underhålla kontexten, be om förtydliganden och slutföra uppgifter i flera steg.

Du kan också köra utvärderingar av enskilda svar, vilket är bra för när du vill testa din agent på hur den svarar på specifika frågor, vilka funktioner den anropar och på den exakta formulering som den använder i sina svar.

Utvärderingar använder testuppsättningar. En testuppsättning för konversationsutvärderingar består av en grupp på upp till 20 testfall. När du kör en agentutvärdering väljer du en testuppsättning och Copilot Studio kör varje testfall i den uppsättningen mot din agent.

Du kan skapa testfall i en testuppsättning genom att importera dem med hjälp av ett kalkylblad eller använda AI för att generera meddelanden baserat på agentens design och resurser. Du kan sedan välja hur du vill mäta kvaliteten på din agents svar för varje testfall inom en testuppsättning.

Läs mer om hur agentutvärdering fungerar i Om agentutvärdering.

För att lära dig hur man redigerar en befintlig testuppsättning, se Ändra detaljerna för en testuppsättning.

Skapa en konversationstestuppsättning

1. Gå till din agents utvärderingssida .

   

2. Välj Ny utvärdering och sedan Konversation.

   

3. Du kan skapa testfall med flera svängar med någon av följande metoder:

   • Snabbkonversation: Generera automatiskt 10 korta konversationer baserat på agentens beskrivning, instruktioner och funktioner.

   • Fullständig konversationsuppsättning: Generera konversationer med hjälp av agentens kunskaper eller definierade ämnen. I det här alternativet kan du välja att skapa korta eller långa konversationer.

   • Använd din testchatt: Konvertera den senaste testchatten till ett testfall.

   Note

   Konversationstestuppsättningar stöder upp till 20 testfall. Varje testfall stöder upp till 12 totala meddelanden, vilket är 6 par frågor och svar.

4. Under Namn skriver du ett namn för testuppsättningen.

5. Ändra eller lägg till de testmetoder som du vill använda. För testuppsättningar för konversationer kan du lägga till allmän kvalitet, nyckelordsmatchning, verktyg som används eller anpassade testmetoder.

   • Lägg till en ny metod:
     1. Välj Lägg till testmetod.
     2. Välj alla metoder du vill testa med, välj sedan OK. Du kan lägga till flera metoder.
     3. För vissa metoder, sätt först ett godkänt resultat och välj sedan OK. Godkänd poäng avgör vilket resultat som leder till godkänt eller underkänt.
     4. Vissa metoder kräver att du lägger till förväntade svar eller nyckelord för varje testfall. Läs mer i Välj utvärderingsmetoder.
   • Välj en befintlig testmetod att redigera eller ta bort.

   Testmetod	Mått	Typ av testuppsättning	Poängsättning	Konfigurationer
   Allmän kvalitet	Hur väl bedöms svaren från ett testfall baserat på specifika egenskaper	Enskilt svar eller en konversation	Fick poäng av 100%	None
   Innehållssäkerhet	Om testfallets svar innehåller skadligt innehåll, som hat, våld, självskada eller sexuellt innehåll	Enskilt svar eller en konversation	Godkänd/underkänd	Innehållstyp, Tillåten innehållssäkerhetsnivå
   Jämför betydelsen	Hur väl betydelsen av testfallets svar stämmer överens med det förväntade svaret	Enkelt svar	Fick poäng av 100%	Godkänt resultat, förväntat svar
   Verktygsanvändning	Om testfallet använde alla eller några förväntade resurser	Enkelt svar	Godkänd/underkänd	Förväntade kapaciteter
   Nyckelordsmatchning	Oavsett om testfallet använde alla eller några av de förväntade nyckelorden eller fraserna	Enskilt svar eller en konversation	Godkänd/underkänd	Förväntade nyckelord eller fraser
   Textlikhet	Hur väl texten i testfallets svar stämmer överens med det förväntade svaret	Enkelt svar	Fick poäng av 100%	Godkänt resultat, förväntat svar
   Exakt träff	Om testfallets svar exakt motsvarar det förväntade svaret	Enkelt svar	Godkänd/underkänd	Förväntat svar
   Custom	Om testfallets svar uppfyller dina definierade kriterier eller förväntningar.	Enskilt svar eller en konversation	Pass/fail (uppfyller de definierade etikettvillkoren)	Namn, utvärderingsinstruktioner, etiketter

6. Redigera detaljerna om testfallen. Alla testmetoder, förutom allmän kvalitet, kräver förväntade svar eller nyckelord. Lär dig mer om redigering av testfall i Modify a test set.

7. Välj användarprofil, granska anslutningarna för den för närvarande inloggade användaren, eller fortsätt utan autentisering. Utvärderingen använder den för närvarande inloggade användaren för att ansluta till kunskapskällor och verktyg under testningen. För att köra utvärderingen som en annan användare, logga ut, logga in med användarens konto och starta sedan utvärderingen. Läs mer i Hantera användarprofiler och kontakter.

   Note

   Automatiserad testning använder autentiseringen från den användare som för närvarande är inloggad. Se till att användaren kan få tillgång till alla kunskapskällor eller anslutningar som kräver autentisering.

8. Redigera eller skapa fler testfall. Läs mer i Redigera testfall i en testuppsättning.

9. Välj Save för att uppdatera testsetet utan att köra testfallen eller Evaluate för att köra testsetet omedelbart.