Opprett et testsett for en agent (forhåndsversjon)

[Denne artikkelen inneholder dokumentasjon for forhåndsversjonen og kan bli endret.]

Et testsett er en samling samtaler du bruker for å evaluere agentens prestasjoner. Hver samtale representerer et scenario som agenten skal håndtere.

Important

Forutsetninger

En agent opprettet og lagret med GitHub Copilot-harnesset. Les mer i Opprett en agent (forhåndsvisning).

Start en ny evaluering

For å starte en ny evaluering:

  1. Åpne agenten i Copilot Studio.
  2. Velg Evaluer-fanen.
  3. Velg Ny evaluering.

Note

Opplevelser som bruker Copilot Credits viser et Uses Copilot Credits-merke , slik at du vet hvilke handlinger som bruker kreditter før du kjører dem. Lær mer i Forstå estimert kredittbruk.

Velg ett av disse alternativene:

Alternativ 1: Last opp samtaler fra en CSV-fil

  1. På Evaluer-fanen, i Datakilde-delen, dra en CSV-fil til opplastingsområdet, eller velg det for å søke etter en fil.

    Tips

    Velg på CSV-koblingen for å laste ned en mal som viser riktig filformat. Maksimal filstørrelse er 5 MB.

  2. Gå gjennom de importerte samtalene og juster dem etter behov.

  3. I panelet Konfigurer testsett til høyre, skriv inn et navn for evalueringen.

  4. Velg Evaluate for å kjøre evalueringen, eller velg Save for å lagre uten å kjøre.

Alternativ 2: Generer samtaler med kunstig intelligens

  1. På Evaluer-fanen, i delen Flere måter å starte på, velg Hurtigsamtalesett.
  2. Vent mens systemet genererer 10 samtaler basert på agentens beskrivelse, instruksjoner og temaer.
  3. Gjennomgå de genererte samtalene i listen Gå gjennom testsakene.
  4. I panelet For Konfigurer testsett , skriv inn et Navn, og velg deretter Evaluer eller Lagre.

Du kan også generere flere samtaler fra evalueringsvisningen. Velg Legg til samtaler>Generer 10 samtaler. Etter at du har kjørt en innledende evaluering, velg Legg til samtalerGenerer 25 samtaler> eller Generer 50 samtaler for å generere flere.

Alternativ 3: Skriv samtaler manuelt

  1. På Evaluer-fanen, i delen Flere måter å starte på, velg Eller skriv noen spørsmål selv.
  2. I listen Gjennomgå testtilfellene dine , velg Legg til samtaler>Skriv for å manuelt opprette et testtilfelle.
  3. Legg til et brukerspørsmål for hver samtale. Eventuelt, legg til et forventet agentsvar.
  4. I panelet Konfigurer testsett, skriv inn et navn og velg Evaluer eller Lagre.

Konfigurer testsettet

Når du oppretter eller redigerer en evaluering, inkluderer Configure test set-panelet disse alternativene:

  • Navn: Et obligatorisk navn for evalueringen.
  • Testmetode: Metoden som scorer svar. Generelle kvalitetssjekker om svarene oppfyller kvalitetsstandarder som relevans og fullstendighet.
  • Brukerprofil: Den autentiserte profilen som kjører evalueringen og kobler til verktøy. Evalueringene bruker profilen til den innloggede brukeren. Du kan ikke koble til en annen bruker mens du er innlogget. For å kjøre en evaluering som en annen bruker, logg ut, logg inn med kontoen til den brukeren, og start evalueringen.

Rediger samtaler i et testsett

For å redigere samtaler i et testsett:

  1. På fanen Evaluer, åpne et eksisterende testsett fra nedtrekksmenyen Evaluering.
  2. Velg en samtale for å redigere meldingene.
  3. Bruk nedtrekksmenyen Legg til samtaler for å legge til flere samtaler.
  4. Velg Lagre når du er ferdig.

Grenser for testsett

Følgende begrensninger gjelder under Evaluer-fanen når du oppretter eller redigerer et testsett eller kjører en evaluering.

Grense Verdi Hva skjer når du når grensen
Samtaler per testsett 20 En melding forteller deg når du har nådd grensen. For å generere eller skrive flere konversasjoner, slett først noen eksisterende konversasjoner. Hvis du genererer flere samtaler enn testsettet kan holde, legger testsettet bare til nok til å nå grensen.
Spørsmål-svar-par for hver samtale 6 (12 meldinger) Du kan ikke legge til et nytt spørsmål i samtalen.
Spørsmålslengde 1 000 tegn, inkludert mellomrom Du kan ikke skrive inn flere tegn.
Forventet responslengde 1 000 tegn, inkludert mellomrom Du kan ikke angi flere tegn.
Testsettets navnelengde 50 tegn Du kan ikke legge inn flere tegn.
CSV-filstørrelse 5 MB Du kan ikke laste opp en fil som er større enn 5 MB.
Agentens responslengde 10 000 tegn Responsen blir ikke scoret. Resultatene viser at responsen er over 10 000 tegn og ikke kan evalueres.

De samme begrensningene gjelder når du laster opp samtaler fra en CSV-fil:

  • Bare de første 20 samtalene importeres.
  • Kun de første seks spørsmål-og-svar-parene i hver samtale importeres.
  • Samtaler med et spørsmål eller forventet svar på mer enn 1 000 tegn blir ikke importert. En melding forteller deg at importen hoppet over noen samtaler.
  • Sist oppdatert