Agentin arvioiminen (esiversio)

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Uuden agenttikokemuksen Arviointi-välilehti mahdollistaa agentin jäsennetyn ja toistettavan testauksen. Käytä arviointeja agentin laadun mittaamiseen testitapauksissa, seuraamaan parannuksia ajan myötä ja validoimaan agentin toiminta ennen julkaisua.

Tärkeää

Mitä agentin arviointi on?

Agentin arviointi mahdollistaa agentin vastausten järjestelmällisen testauksen laatuvaatimusten perusteella. Sen sijaan, että testaisit jokaisen skenaarion manuaalisesti Esikatselu-välilehdellä, luo arviointeja testikeskusteluilla, määrittele, miten vastauksia mitataan, ja suorita arvioinnit saadaksesi määrällisiä tuloksia.

Arviointi auttaa vastaamaan näihin kysymyksiin:

  • Vastaako agentti oikein erilaisissa odotetuissa skenaarioissa?
  • Paransiko vai heikensikö määrityksen muutos vastauksen laatua?
  • Kutsuuko agentti työkaluja silloin kun pitäisi?

Avainkäsitteet

Seuraavat käsitteet ovat keskeisiä Copilot Studion arvioinneissa:

Keskustelut

Keskustelu on testitapaus, joka ilmaisee skenaarion, jonka agentin on käsiteltävä. Jokaisessa keskustelussa on käyttäjäviestejä ja valinnaisesti agentilta odotettavat vastaukset. Järjestä keskustelut arvioinneiksi. Luo keskusteluja manuaalisesti, luo ne tekoälyllä tai lataa ne CSV-tiedostosta.

Arvioinnit

Arviointi on nimetty testijoukko, joka yhdistää keskustelut testimenetelmään. Voit luoda arviointeja Arviointi-välilehdestä, lisätä niihin keskusteluja ja suorittaa ne sekä saada tällä tavoin pisteytettyjä tuloksia.

Testimenetelmä

Testimenetelmät määrittävät, miten agentin vastauksia pisteytetään. Tällä hetkellä ainoa saatavilla oleva testimenetelmä on yleinen laatu, tekoälypohjainen arviointi siitä, täyttävätkö vastaukset laatustandardeja, kuten relevanssia ja täydellisyyttä.

Note

Yleinen laatu -testimenetelmä ei vertaa vastauksia odotettuihin vastauksiin.

Käyttäjäprofiili

Työkalujen käyttämät arvioinnit ja yhteydet suoritetaan parhaillaan kirjautuneena olevan käyttäjän profiililla. Et voi muodostaa yhteyttä eri käyttäjänä, kun olet kirjautuneena sisään. Jos haluat tehdä arvioinnin eri käyttäjänä, kirjaudu ulos, kirjaudu sisään kyseisen käyttäjän tilillä ja aloita arviointi.

Luoton käyttö

Arvioi arvioitu Copilot Creditin käyttö koko testausprosessin ajan, jotta ymmärrät testauslaadun kustannukset ennen suurempia testisarjoja. Voit nähdä, mitkä kokemukset käyttävät opintopisteitä, arvioidun kokonaismäärän jokaiselle arviointikierrokselle, jakautumisen generointi- ja pisteytysvastausten välillä sekä luottojen käytön yksittäisellä testitapaustasolla. Lue lisää artikkelista Ymmärrä arvioitu luoton käyttö.

Arviointityönkulku

Seuraa näitä vaiheita arvioidaksesi agenttia:

  1. Luo arviointi: aloita uusi arviointi Arviointi-välilehdessä. Lue lisää artikkelista Create a test set for an agent.
  2. Lisää keskusteluja: Lisää testikeskusteluja kirjoittamalla ne manuaalisesti, luomalla ne tekoälyn avulla tai lataamalla CSV-tiedosto.
  3. Määritä: Nimeä arviointi, valitse testimenetelmä ja valitse agenttiversio.
  4. Suorita arviointi: Valitse Arvioi suorittaaksesi testin ja odota tuloksia. Lue lisää artikkelista Suorita arviointi agentille.
  5. Arvioi tulokset: Analysoi tulokset ja tunnista parannuskohteet. Lue lisää kohdasta Katso arviointitulokset agentille.
  6. Iterointi: Säädä agenttisi ohjeita, tietoa tai työkaluja ja suorita arviointi uudelleen vaikutuksen mittaamiseksi.

Limitations

Arvioinnit tukevat vain agentteja, jotka on määritetty käyttämään Ei todennusta- tai Todenna Microsoftilla -asetusta. Agentit, joille on valittu Todenna manuaalisesti -asetus, ei tueta.

  • Viimeksi päivitetty