Luo testisetti agentille (esiversio)

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Testisetti on kokoelma keskusteluja, joita käytät arvioidaksesi agenttisi suoriutumista. Jokainen keskustelu edustaa skenaariota, jonka haluat agenttisi käsittelevän.

Important

Vaatimukset

Agentti, joka luotiin ja pelastettiin GitHub Copilot -valjailla. Lue lisää artikkelista Luo agentti (esikatselu).

Uuden arvioinnin aloittaminen

Uuden arvioinnin aloittamiseksi:

  1. Avaa agenttisi Copilot Studio -ohjelmassa.
  2. Valitse Arvioi -välilehti.
  3. Valitse Uusi arviointi.

Note

Kokemukset, jotka kuluttavat Copilot-krediittejä, näyttävät Uses Copilot Credits -merkin , jotta tiedät, mitkä toiminnot kuluttavat krediittejä ennen niiden suorittamista. Lue lisää artikkelista Ymmärrä arvioitu luoton käyttö.

Voit valita jonkin seuraavista vaihtoehdoista:

Vaihtoehto 1: Lataa keskusteluja CSV-tiedostosta

  1. Arvioi-välilehdellä, Tietolähde-osiossa, vedä CSV-tiedosto latausalueelle tai valitse tiedosto selausikkunasta.

    Vinkki

    Valitse CSV-linkki ladataksesi mallipohjan, joka näyttää oikean tiedostomuodon. Suurin tiedostokoko on 5 MB.

  2. Käy läpi tuodut keskustelut ja säädä niitä tarpeen mukaan.

  3. Oikeanpuoleisessa Testijoukon määritys -paneelissa anna arvioinnille Nimi.

  4. Valitse Evaluate suorittaaksesi arvioinnin tai valitse Tallenna tallentaaksesi sen ilman suoritusta.

Vaihtoehto 2: Generoi keskusteluja tekoälyn avulla

  1. Arvioi-välilehdellä, Lisää aloitustapoja -osiossa, valitse Pikakeskustelusetti.
  2. Odota, kun järjestelmä generoi 10 keskustelua agentin kuvauksen, ohjeiden ja aiheiden perusteella.
  3. Tarkastele luotuja keskusteluja Tarkastele testitapauksiasi -listassa.
  4. Määritä testijoukko -paneelissa syötä nimi ja valitse sitten Arvioi tai Tallenna.

Voit myös luoda enemmän keskusteluja arviointinäkymästä. Valitse Lisää keskusteluja>Luo 10 keskustelua. Kun olet tehnyt alkuperäisen arvioinnin, valitse Lisää keskusteluja>Luo 25 keskustelua tai Luo 50 keskustelua saadaksesi lisää aikaan.

Vaihtoehto 3: Kirjoita keskustelut manuaalisesti

  1. Arvioi-välilehdellä, Lisää aloitustapoja -osiossa valitse Tai kirjoita kysymyksiä itse.
  2. Tarkista testitapaukset -listassa valitse Lisää keskusteluja>Kirjoita luodaksesi testitapauksen manuaalisesti.
  3. Lisää käyttäjäkysymys jokaiseen keskusteluun. Halutessasi, lisää odotettu agentin vastaus.
  4. Määritä testijoukko -paneelissa, syötä Nimi ja valitse Arvioi tai Tallenna.

Testijoukon määrittäminen

Kun luot tai muokkaat arviointia, Määritä testijoukko -paneelissa on seuraavat vaihtoehdot:

  • Nimi: Arvioinnin nimi (pakollinen).
  • Testimenetelmä: Menetelmä, joka pisteyttää vastaukset. Yleinen laatu tarkistaa, täyttävätkö vastaukset laatustandardeja, kuten relevanssia ja täydellisyyttä.
  • Käyttäjäprofiili: Todennettu profiili, joka suorittaa arvioinnin ja yhdistää työkaluihin. Arvioinneissa käytetään kirjautuneen käyttäjän profiilia. Et voi muodostaa yhteyttä eri käyttäjänä, kun olet kirjautuneena sisään. Jos haluat tehdä arvioinnin eri käyttäjänä, kirjaudu ulos, kirjaudu sisään kyseisen käyttäjän tilillä ja aloita arviointi.

Muokkaa testisarjan keskusteluja

Keskustelujen muokkaamiseen testisetissä:

  1. Arviointi-välilehdellä avaa olemassa oleva testisarja Arviointi-pudotusvalikosta.
  2. Valitse keskustelu ja muokkaa sen viestejä.
  3. Lisää keskusteluja käyttämällä Lisää keskusteluja -pudotusvalikkoa.
  4. Kun olet valmis, valitse Tallenna.

Testijoukon rajat

Seuraavat rajoitukset koskevat Arvioi-välilehteä, kun luot tai muokkaat testisarjaa tai suoritat arvioinnin.

Raja Arvo Mitä tapahtuu, kun saavutat enimmäisrajan
Keskustelut testijoukkoa kohden 20 Viesti kertoo, kun saavutat käyttörajan. Jos haluat luoda tai kirjoittaa lisää keskusteluja, poista ensin joitakin olemassa olevia keskusteluja. Jos luot keskusteluja enemmän kuin testijoukkoon mahtuu, testijoukko lisää keskusteluja vain rajan määrittämän määrän.
Kysymys-vastausparit keskustelua kohden 6 (12 viestiä) Keskusteluun ei voi lisätä enää yhtään kysymystä.
Kysymyksen pituus 1 000 merkkiä, mukaan lukien välilyönnit Et voi lisätä enempää merkkejä.
Odotettu vastepituus 1 000 merkkiä, mukaan lukien välilyönnit Merkkejä ei voi syöttää enempää.
Testisetin nimen pituus 50 merkkiä Merkkejä ei voi syöttää enempää.
CSV-tiedoston koko 5 MB Et voi ladata tiedostoa, jonka koko on yli 5 Mt.
Agentin vastauksen pituus 10 000 merkkiä Vastausta ei pisteytetä. Tulokset osoittavat, että vastaus on yli 10 000 merkkiä eikä sitä voi arvioida.

Samat rajoitukset pätevät, kun lataat keskusteluja CSV-tiedostosta:

  • Vain ensimmäiset 20 keskustelua tuodaan sisään.
  • Vain kunkin keskustelun ensimmäiset kuusi kysymys-vastaus -paria tuodaan sisään.
  • Keskusteluja, joissa kysymys tai odotettu vastaus on yli 1 000 merkkiä, ei tuoda. Viesti kertoo, että tuonti ohitti joitakin keskusteluja.
  • Viimeksi päivitetty