Kør evalueringer, og få vist resultater

Kør evalueringer og analyser resultaterne for at optimere din mæglers adfærd og validere, at din mægler opfylder dine forretnings- og kvalitetskrav. Du kan også køre et testsæt flere gange for at se ændringer over tid, efterhånden som du forbedrer din agent.

I denne artikel forklares det, hvordan du starter evalueringer og får vist resultater ved hjælp af grænsefladen Copilot Studio. Du kan også køre evalueringer ved hjælp af API'en til Power Platform eller connectors tilføjet som værktøjer eller som en del af automatiseringsflows i Copilot Studio eller Power Automate.

Testresultaterne er tilgængelige i Copilot Studio i 89 dage. For at gemme dine testresultater i længere tid, eksporter resultaterne til en CSV-fil.

Kør en test med et testsæt

Når du har oprettet et testsæt, skal du køre en test ved at bruge det sæt. Eller kør tests igen ved at bruge det samme sæt til at sammenligne resultater over tid og iterationer. En test kan tage op til et par minutter at udføre. Du kan kun køre én test ad gangen.

1. Gå til din agents vurderingsside .

   

2. Kør en test ved at udføre en af følgende handlinger:

   • Når du har oprettet eller redigeret et testsæt, vælg Evaluer.
   • I afsnittet Seneste resultater kan du genkøre en test ved at udføre et af følgende trin:
     • Peg på det testresultat, du vil evaluere, og vælg ▶ derefter Evaluer (Evaluer testsæt igen) ud for Evaluate Agent.
     • Vælg testresultatet for at åbne det, og vælg derefter ikonet Kør ▶ i ruden Evalueringsoversigt .

   Hvis brugerprofilen for testsættet har brudte forbindelser, eller testsættet ikke har en brugerprofil, vises dialogboksen Administrer profil og forbindelser . Du behøver ikke bruge en brugerprofil til test. Men hvis du bruger en profil, skal alle forbindelserne virke. Lær mere i Administrer brugerprofiler og forbindelser.

   Vigtigt!

   Når du vælger en brugerprofil, kan du gennemgå og autentificere alle connectors, din agent bruger. Hvis du vælger en konto ud over den, du bruger til at logge ind på Copilot Studio, såsom en testkonto, autentificerer Copilot Studio brugerprofilen og henter brugerens eksisterende forbindelser. Du kan konfigurere, gennemgå og gemme disse forbindelser, før du laver en evaluering. Lær mere i Administrer brugerprofiler og forbindelser.

Det tager et par minutter at køre en evaluering. Testresultaterne behandles i realtid, linje for linje. Du får vist resultatet af hver evalueringstestcase sekventielt, efterhånden som de genereres. Direkte behandling af testcases giver dig øjeblikkelig indsigt i kvalitetstendenser og potentielle fejl, mens evalueringen kører. Du kan stoppe kørslen når som helst, hvis der opstår problemer. Der vises en besked i Copilot Studio, når den fulde evaluering er fuldført, og oversigtsresultaterne er klar til at blive vist.

Dyk ned i testresultaterne

Hver gang du kører en evaluering med et testsæt, Copilot Studio:

1. Bruger den tilknyttede brugerkonto til at simulere samtaler med agenten og sende hvert spørgsmål i testcasen til agenten.

2. Indsamler agentens svar.

3. Måler og analyserer succesen af hvert svar. Hver testcase modtager en Bestået, Dumpet, Ugyldig eller Fejl baseret på testtilfældets kriterier.

4. Tildeler en gennemløbsfrekvensscore baseret på testsættets bestået/failfrekvens .

Du kan se beståelsesprocenten for hvert testsæt på din agents evalueringsside under Seneste resultater. Du kan se flere testtilfælde med kørsler ved at vælge Se alt.

Se og bedøm en detaljeret analyse for et testtilfælde

Når du åbner et testresultat, ser du detaljerne fra testkørslen, en liste over de forespørgsler, der blev brugt i testen, hvordan agenten svarede, og bestået eller ikke bestået-scoren .

Vælg et testtilfælde i listen for at se en detaljeret vurdering af hvert svar. Vælg Alle, Bestået eller Ikke for at filtrere sager efter resultat.

Vurderingen omfatter de forventede og faktiske svar, begrundelsen bag testresultatet samt den viden, de emner og de værktøjer, agenten brugte til at svare.

1. Evalueringsresultaterne. Dette eksempel viser resultaterne af en kvalitetsevaluering.

2. Vælg Vis aktivitetskort for at se din agents rækkefølge af input, beslutninger og output i en testcase. Få mere at vide i Vis sessionsaktivitet.

3. Transskriptionen af testspørgsmålet og agentens svar.

4. De ressourcer, agenten brugte i testen. Vælg en for at åbne den.

Du kan give Microsoft feedback på, hvor godt evalueringen fungerede for hver testsag. Denne feedback handler specifikt om, hvor effektivt den valgte evalueringsmetode vurderede svaret, ikke om selve responsen var korrekt. Din feedback hjælper med at forbedre kvaliteten og nøjagtigheden af evalueringerne over tid.

For at bedømme en evaluering, vælg tommelfinger eller tommelfinger-ned-skærmbillede, der ikonet i panelet for detaljer i testtilfældet. Når feedbackformularen åbner, skal du give flere oplysninger om din vurdering, og derefter vælge Send.

Et evalueringstestsæt kan køres flere gange af flere "oprettere" af den samme agent. Oprettere kan køre evalueringer ved hjælp af testsæt, der er oprettet af andre oprettere. Oprettere kan se kørselsstatussen og resultatmetrikværdierne for alle testkørsler, men kun den opretter, der startede testkørslen, kan få vist agentens svar og resultat forklaringer.

Anmeldelsessvartid

Copilot Studio måler automatisk responstiden for hver interaktion under en evaluering. En interaktion er en enkelt brugeranmodning og agentens tilsvarende svar. Svartiden er den samlede tid i sekunder fra det tidspunkt, hvor agenten modtager anmodningen, til den returnerer et svar. Det inkluderer al ræsonnementgørelse, værktøjskald, forbindelsesopkald, forespørgsler eller arbejdsgangstrin, som agenten udfører, før han svarer.

For at se svartiden, vælg et testcase-spørgsmål i Resultater-vinduet . Responstidsværdien vises i sekunder i agentens responspanel, efter svaret.

For et enkelt svar-testtilfælde danner testcase-spørgsmålet og agentens svar én interaktion. En samtaletestcase kan have flere interaktioner, og Copilot Studio måler hver enkelt separat.

Brug responstid til at identificere langsommere interaktioner og sammenlign præstationen efter du har skiftet agent. Responstid er kun en måling. Den tildeler ikke et bestået eller dumpet resultat eller påvirker testsættets beståelsesprocent.

Sammenlign testresultater

Du vil teste én version af din agent og se ændringer i ydeevnen før og efter, du laver ændringer. Du kan sammenligne to gennemløb af det samme testsæt ved at bruge værktøjet Sammenligning med .

For at kunne sammenligne skal du køre det samme testsæt mindst to gange.

1. På din agents evalueringsside , under Nylige testresultater, åbner du den testkørsel , du vil bruge som grundlag for sammenligningen.

2. Vælg dropdown-menuen Sammenlign med , og vælg derefter tid og dato for den testkørsel, du vil sammenligne med de nuværende åbne testresultater.

I testcase-listen viser pile, hvilke testcaseresultater der blev forbedret ved at ændre fra dumpet til bestået , eller afvist ved at skifte fra bestået til dumpet .

Vælg et testtilfælde for at se flere detaljer. I panelet Evalueringsoversigt kan du se en direkte sammenligning af testresultater, med resultatet af den aktuelle testkørsel øverst.

Eksporttestresultater

Du kan eksportere testresultater til en CSV-fil. Filen viser spørgsmålet, forventet svar (hvis relevant), testmetode, beståelsesscore (hvis relevant), agentens svar, testresultatet og analysen for hver testcase.

1. Gå til din agents vurderingsside .
2. I afsnittet Seneste resultater eksporterer du et testresultat ved at udføre et af følgende trin:
   • Hold musen over testtilfældet, du vil eksportere, vælg de tre prikker (...) og vælg derefter Eksporter testresultater.
   • Vælg testcaset for at åbne det, vælg de tre prikker (...) i Evalueringsoversigtspanelet , og vælg derefter Eksporter testresultater.

Testresultaterne downloades som dit testsæts navn.csv.

Del evalueringer ved hjælp af agent-seer-rollen

Hvis du er agentens ejer og kun vil give adgang til Evaluering-siden for din agent, skal du dele agenten og aktivere delingsrollen agent viewer. Brugere med denne rolle kan administrere evalueringer for en specifik agent uden adgang til selve agenten.

Brugere tildelt agent-viewer-rollen til evalueringer:

• Se og kør evalueringstestsæt fra andre producenter.
• Omdøb, annuller og slet evalueringer.
• Kan ikke oprette eller opdatere evalueringstestsættene, der deles med dem.

Sådan tildeler du rollen:

1. Åbn agenten og vælg de tre prikker (...) >Del.
2. Under Nye brugere og app-identiteter skal du tilføje en bruger eller gruppe. Eller vælg en eksisterende bruger fra listen.
3. Under Har tilladelser for denne agent som vælg Agent viewer fra rollelisten.
4. Vælg Del for at dele agenten.

Brugeren kan derefter åbne agenten og se fanerne Evalueringer og Overvåge . De kan derefter administrere evalueringer under fanen Evaluering .

Lær mere om at dele en agents vurderinger med andre brugere.