Merk
Tilgang til denne siden krever autorisasjon. Du kan prøve å logge på eller endre kataloger.
Tilgang til denne siden krever autorisasjon. Du kan prøve å endre kataloger.
[Denne artikkelen inneholder dokumentasjon for forhåndsversjonen og kan bli endret.]
Evaluer-fanen i den nye agentopplevelsen gir strukturert, repeterbar testing for agenten din. Bruk evalueringer til å måle agentkvalitet på tvers av testtilfeller, spore forbedringer over tid, og validere agentens atferd før du publiserer den.
Viktig!
- Dette er en produksjonsklar evalueringsfunksjonalitet.
- Produksjonsklare forhåndsversjoner er underlagt tilleggsvilkårene for bruk.
Hva er agentvurdering?
Agentevaluering lar deg systematisk teste agentens svar mot kvalitetsstandarder. I stedet for å teste hvert scenario manuelt i Forhåndsvisning-fanen , lag evalueringer med testsamtaler, definer hvordan svarene skal måles, og kjør evalueringene for å få kvantitative resultater.
Evaluering hjelper deg å svare på spørsmål som disse:
- Svarer agenten korrekt i en rekke forventede scenarioer?
- Forbedret eller forringet en konfigurasjonsendring svarkvaliteten?
- Kaller agenten verktøy når den bør?
Nøkkelbegreper
Følgende nøkkelbegreper er viktige når du kjører evalueringer i Copilot Studio:
Samtaler
En samtale er et testtilfelle som representerer et scenario du ønsker at agenten din skal håndtere. Hver samtale inkluderer brukermeldinger og eventuelt forventede svar fra agenten. Organiser samtaler i evalueringer. Lag samtaler manuelt, generer dem med AI, eller last dem opp fra en CSV-fil.
Evalueringer
En evaluering er et navngitt testsett som kombinerer samtaler med en testmetode. Du oppretter evalueringer fra Evaluer-fanen, legger til samtaler i dem og kjører dem for å produsere vurderte resultater.
Testmetoder
Testmetoder angir hvordan agentens svar bedømmes. For øyeblikket er den eneste tilgjengelige testmetoden General quality, en AI-basert vurdering av om svarene oppfyller kvalitetsstandarder, som relevans og fullstendighet.
Note
Generell kvalitet-testmetoden sammenligner ikke svarene med de forventede svarene.
Brukerprofil
Evalueringer og tilkoblinger brukt av verktøy som kjøres med den nåværende innloggede brukerprofilen. Du kan ikke koble til en annen bruker mens du er innlogget. For å kjøre en evaluering som en annen bruker, logg ut, logg inn med kontoen til den brukeren, og start evalueringen.
Kredittbruk
Evaluer overflater av estimert bruk av Copilot Credit gjennom hele testprosessen, slik at du kan forstå kostnadene ved testkvalitet før du kjører større testsuiter. Du kan se hvilke opplevelser som bruker kreditter, et estimert total for hver evalueringskjøring, en fordeling mellom generering og poenggivende svar, og kredittbruk på det individuelle testcase-nivået. Lær mer i Forstå estimert kredittbruk.
Arbeidsflyt for evaluering
Følg disse trinnene for å vurdere en megler:
- Opprett en evaluering: Fra Evaluer-fanen starter du en ny evaluering. Lær mer i Lag et testsett for en agent.
- Legg til samtaler: Legg til testsamtaler ved å skrive dem manuelt, generere dem med kunstig intelligens, eller laste opp en CSV-fil.
- Konfigurer: Navngi evalueringen, velg en testmetode, og velg agentversjonen.
- Kjør evalueringen: Velg Evaluer for å kjøre testen og vent på resultatene. Lær mer i Kjør en vurdering av en agent.
- Gå gjennom resultatene: Analyser resultater og identifiser forbedringsområder. Les mer i Se evalueringsresultater for en agent.
- Iterer: Juster agentens instruksjoner, kunnskap eller verktøy, og kjør evalueringen på nytt for å måle effekten.
Limitations
Evalueringer støtter kun agenter satt til å bruke ingen autentisering eller autentisere med Microsoft. Agenter satt til å autentisere manuelt støttes ikke.