Testien määrittäminen Copilot Agent Kitissä

Testaus on välttämätöntä, sillä sen avulla voidaan varmistaa, että mukautetut agenttisi Copilot Agent Kitissä reagoivat ja toimivat odotetusti. Tässä artikkelissa selitetään, miten luodaan, hallitaan ja validoidaan erilaisia testityyppejä, mukaan lukien monivuoroiset skenaariot. Voit myös suorittaa massatoimintoja Excelillä ja monistaa testisettejä.

Testityypit

Voit luoda useita erilaisia testityyppejä agenttien tarkistamista varten.

Testityyppi Description
Vastausten vastine Tämä testi on yksinkertaisin testityyppi. Testi vertaa agentin vastausta odotettuun vastaukseen käyttämällä valittua vertailuoperaattoria.
Oletusarvoisesti käytössä on tarkka vastaavuus (sama kuin). Muita vertailuoperaattoreita ovat Ei vastaa, Sisältää, Ei sisällä, Alkaa, Ei ala, Päättyy ja Ei pääty.
Liitteet (kuten mukautuvat kortit) Vertaa agentin liitteiden JSON-vastausta odotettuun liitteiden JSON-vastineeseen (kaikki liitteet ).
Oletusarvoisesti käytössä on tarkka vastine (sama kuin). Muita käytettävissä olevia vertailuoperaattoreita ovat "Ei sama kuin", "Sisältää" ja "Ei sisällä". Vertailun Tekoälytarkistus-eritysoperaattori käyttää kielimalleja liitteen tarkistamiseen tekijän antamien tarkistusohjeiden perusteella generatiivisten vastauksien tavoin.
Aiheen vastaavuus Saatavana vain, kun Dataversen rikastaminen (rikastaminen keskustelun transkriptioiden avulla) on määritetty.
Kun Dataversen rikastamisvaihe on valmis, tämä testi vertaa aiheen odotettua nimeä ja käynnistetyn aiheen nimeä. Aiheen vastaavuuden testaus tukee myös monen aiheen vastaavuutta mukautetuissa agenteissa, joissa generatiivinen orkestrointi on otettu käyttöön. Monen aiheen vastaavuudessa aiheet erotellaan pilkuin; esimerkiksi: Aihe1,Aihe2.
Generatiiviset vastaukset Saatavana vain, jos AI Builderin rikastaminen (luotujen vastausten analysointi) on määritetty.
Käyttää suurta kielimallia arvioimaan, onko tekoälyn luoma vastaus lähellä mallivastausta tai noudattaako se tarkistusohjeita.
Kun Käytä rikastamiseen Azure Application Insightsia on määritetty, voidaan testata myös negatiivisia testejä, kuten moderointia tai hakutulosten puuttumista. Lisätietoja on kohdassa Arvosteluohjeiden käyttäminen testeissä.
Monivuoroinen Koostuu vähintään yhdestä muun tyyppisestä testitapauksesta, kuten vastauksen vastaavuudesta, liitteistä, aiheen vastaavuudesta ja generatiivisista vastauksista. Kaikki monivuoroisen testin alistesti suoritetaan samassa keskustelukontekstissa määritetyssä järjestyksessä. Testaa monivuoroisilla testeillä skenaario päästä päähän sekä generatiivista orkestrointia sisältävät mukautetut agentit. Lisätietoja on kohdassa Monivuoroinen testaus.
Suunnitelman tarkistus Antaa tekijälle mahdollistaa tarkistaa, että mukautetun agentin dynaaminen suunnitelma sisältää odotetut työkalut. Tämä testityyppi on tarkoitettu Copilot Studion mukautettuihin agentteihin, joissa on generatiivinen orkestrointi on otettu käyttöön. Lisätietoja on kohdassa Suunnitelman tarkistustestaus.

Uuden testijoukon luominen

Käytä testijoukkoja ryhmittelemään useita testejä yhteen. Kun suoritat testejä, valitse testijoukko ja suorita kaikki sen testit.

  1. Käytä Copilot Agent Kit -sovellusta.
  2. Valitse Testijoukot.
  3. Luo uusi agenttitestijoukkotietue.
  4. Kirjoita Nimi.
  5. Valitse Tallenna.

Uuden testin luominen

Kun testijoukko on luotu, lisää siihen testejä. Valitse Testit-aliruudukosta + Uusi agenttitesti.

Näyttökuvassa Copilot Agent Kitin Luo agenttitesti -käyttöliittymä, Uusi agenttitesti -painike korostettuna

Kentät käsitellään seuraavassa taulukossa.

Sarakkeen nimi Pakolliset Description
Nimi Kyllä Testin nimi. Nimi voi olla sisäinen viitetunnus, kuten TST-001.
Agentin testijoukko Kyllä Testin päätestijoukko.
Testityyppi Kyllä Yksi saatavilla olevista testityypeistä.
Lähetä startConversation-tapahtuma Ei Jos otettu käyttöön, agentti vastaanottaa startConversation-tapahtuman, jolloin se aloittaa keskustelun ennakoivasti ja testilause lähetetään sen jälkeen. Tätä asetusta tarvitaan yleensä silloin, kun Keskustelun aloitus -aihe sisältää logiikkaa, joka on suoritettava ennen käyttäjälle tai testilauseeseen vastaamista.
Vastausviestin odotettu sijainti Ei Älä määritä arvoa, jos olet epävarma. Tämä vaihtoehto mahdollistaa tietyn agentin vastauksen tallentamisen, kun agentti lähettää useita viestejä. Jos agentti esimerkiksi sanoo ensin "Hei" ja sitten "Kuinka voin auttaa?" ja haluat testata toisen vastauksen, määritä arvoksi 1. Järjestyksen ensimmäinen arvo on 0, joten ensimmäinen viesti indeksoidaan arvolla 0, toinen arvolla 1 ja niin edelleen.
Testilause Kyllä Testin osana agentille lähetettävä viesti.
Odotettu vastaus Vaihtelee Pakollinen Vastauksen vastaavuus -testityypissä. Odotettu vastaus agentilta. Määritä generatiivisten vastausten testissä mallivastaus tai omat suuren kielimallin vastaukset.
Ulkoisten muuttujien JSON Ei JSON-tietue mistä tahansa ulkoisesta tai kontekstuaalisesta arvosta, jonka haluat välittää agentille testin osana. Esimerkki: { "Language": "fr" }
Vastausta edeltävät sekunnit Ei Sekuntien määrä, joka odotetaan ennen botin vastauksen arviointia. Useimmissa tapauksissa voit jättää tämän arvon tyhjäksi, mutta siitä on hyötyä tilanteissa, joissa agentti kutsuu ohjelmointirajapintaa ja vastaus voi kestää tavallista kauemmin.
Odotettu generatiivisen vastauksen tulos Vaihtelee Pakollinen Generatiiviset vastaukset -testityypissä. Oltava joko Vastattu tai Vastaamatta. Kun Azure Application Insightsin rikastaminen on käytössä, voit valita Moderoitu tai Ei hakutuloksia.
Odotettu aiheen nimi Vaihtelee Pakollinen Aiheen vastaavuus -testityypissä. Sen aiheen nimi, jonka odotat käynnistyvän. Moniaiheista vastaavuutta tuetaan mukautetuissa agenteissa, joissa generatiivinen orkestrointi on käytössä. Käytä moniaiheisessa vastaavuudessa pilkuin eroteltua luettelo; esimerkki: Aihe1,Aihe2. Älä lisää ylimääräisiä välilyöntejä. Moniaiheinen vastaavuus varmistaa, että odotetut aiheet sisältyvät suunnitelman aiheisiin.
Odotettu liitteiden JSON Vaihtelee Pakollinen Liitteet (mukautuvat kortit jne.) -testityypissä. Täydellinen JSON-taulukko agentin vastauksesta odotettavista liitteistä.
Odotetut työkalut Vaihtelee Pakollinen Suunnitelman tarkistus -testityypissä. Pilkuin eroteltu luettelo odotetuista työkaluista (työkalut, toiminnot ja yhdistetyt agentit) Älä lisää ylimääräisiä välilyöntejä. Järjestyksellä ei ole merkitystä. Esimerkki: "Sää, ilmastonmuutos"
Läpäisykynnys % Vaihtelee Pakollinen Suunnitelman tarkistus -testityypissä. Odotettujen työkalujen prosenttiosuus, jonka on sisällyttävä dynaamiseen suunnitelmaan, jotta testi läpäistään. Jos prosenttiosuus on 100, testin onnistuminen edellyttää, että kaikkien odotettujen työkalujen on oltava dynaamisessa suunnitelmassa. Ylimääräiset työkalut dynaamisessa suunnitelmassa eivät vaikuta testitulokseen.

Monivuorotestaus

Monivuoroisessa testityypissä voidaan määrittää yksi tai useampi tavallisten tyyppien alitesti. Alitesteillä on järjestys ja kullakin niistä on tärkeys. Järjestys määrittää suoritusjärjestyksen samassa keskustelukontekstissa (monivuoroisessa testitapauksessa). Tärkeys määrittää, edellyttääkö monivuoroisen testin suorittamisen jatkaminen, että alitestitapaus läpäisee testin.

Näyttökuvaussa monivuoroisen testauksen määritys Copilot Agent Kitissä.

Jos ali testi edellyttää testauksen jälkeistä arviointia, kuten Aiheen vastaavuus tai Generatiiviset vastaukset, testi jää odottavaan tilaan ja testin suoritus jatkuu tärkeystilasta riippumatta. Jos jokin tärkeistä testeistä epäonnistuu, monivuoroisen testin suorittaminen pysäytetään ja sen tulos katsotaan epäonnistuneeksi. Jos kaikki tärkeät alitestitapaukset onnistuvat, myös monivaiheisen prosessin tulos on onnistunut.

Näyttökuvassa Copilot Agent Kitin Monivuoroiset tulokset -näkymä.

Käytä muita kuin tärkeitä alitestitapauksia tietojen syöttämiseen generatiivisen orkestroinnin sisältäviin mukautettuihin agentteihin. Voit käyttää näitä testitapauksia myös silloin, kun vastauksella ei ole merkitystä ja haluat kehittää tärkeitä testejä.

Suunnitelman tarkistuksen testaus

Suunnitelman tarkistus keskittyy työkalujen oikeellisuuteen. Tässä testityypissä ei arvioida agentin vastauksia, vaan tarkistetaan, käytettiinkö odotettuja työkaluja suunnitelman aikana.

Kun määrität suunnitelman tarkistustestiä, määritä:

  • testilause
  • dynaamiseen suunnitelmaan sisällytettävä pilkuin eroteltu odotettujen työkaluluettelo
  • läpäisykynnys, joka ilmaisee, mikä on luettelosta poikkeamisen toleranssi.

Tämä testi hyödyntää keskustelutranskriptioita ja arvioidaan varsinaisen testisuorituksen jälkeen rikastamisaktiviteettina.

Ota seuraavat seikat huomioon:

  • Odotetut työkalut: Sisällytä työkalut, toiminnot ja yhdistetyt agentit pilkuin eroteltuna luettelona. Älä lisää ylimääräisiä välilyöntejä. Järjestyksellä ei ole väliä.

  • Läpäisykynnys %: läpäisykynnys määrittää, kuinka suuri osa odotetuista työkaluista on sisällytettävä dynaamiseen suunnitelmaan, jotta testi onnistuu.

Suunnitelman tarkistus on deterministinen testi: siinä lasketaan todellisten työkalujen poikkeama odotetuista työkaluista ja verrataan sitä läpäisykynnykseen. Jos poikkeama on kynnysarvon sisällä, testi menee läpi; muuten se epäonnistuu.

Näyttökuvassa Suunnitelman tarkistus -testityyppi Copilot Agent Kitissä.

Lisätietoja on kohdassa Agentin käyttäytymisen orkestrointi generatiivisen tekoälyn avulla.

Testaa agentteja, jotka vaativat liittimen valtuutuksen

Kun agentti käyttää ulkoista tietolähdettä, kuten SharePointia tai Dataversea, ensimmäisessä keskustelussa esitetään tyypillisesti "Yhdistä jatkaaksesi" -valtuutuskortti. Käyttäjän täytyy valita Salli ennen kuin agentti voi kutsua liitintä. Tämän työnkulun testaamiseksi automatisoidussa testissä mallinnetaan kehote ja käyttäjän vastaus kahtena alitestinä monivuoroisen testin sisällä.

Muistiinpano

Tämä on kertaluonteinen asetus per testisarja. Kun yhteys on valtuutettu testikäyttäjälle, sinun ei tarvitse toistaa valtuutusvaiheita myöhemmissä testeissä.

Monivuoroinen testi sisältää kaksi alitestiä järjestyksessä:

Tilaus Testin tyyppi Toiminnon tyyppi Tarkoitus
1 Liitteet (Mukautuvat kortit tms.) Vertailuoperaattori Lähettää lauseen, joka laukaisee liittimen ja vahvistaa valtuutuskortin JSON-merkkijonon.
2 Liitteet (Mukautuvat kortit tms.) Toimintojen kutsuminen Lähettää Salli valtuutuskortille, jotta agentti voi suorittaa kutsun.

Näin luot testin:

  1. Testisetissäsi valitse + Uusi agenttitesti, syötä nimi, aseta testityypiksiMonivuoroinen ja valitse Tallenna.

  2. Valitse monivuoroisen testin aliruudukossa + Uusi agenttitesti ja määritä ensimmäinen alitesti:

    Kenttä Value
    Testityyppi Liitteet (Mukautuvat kortit tms.)
    Tilaus 1
    Testilause Lause, joka laukaisee liittimen, esimerkiksi List Fourth Coffee Brands.
    Toiminnon tyyppi Vertailuoperaattori
    Vertailuoperaattori Yhtä kuin
    Odotettu liitteiden JSON [] (paikkamerkki – korvaat tämän ensimmäisen suorituksen jälkeen)

    Valitse Tallenna testi.

  3. Tallenna testisarja ja suorita se. Ensimmäinen alitesti epäonnistuu odotetusti, koska JSON-paikkamerkki ei vastaa valtuutuskorttia.

  4. Avaa testisuorituksen tulokset, valitse monivuoroinen alitesti, etsi Liitteet-osio ja kopioi Toteutunut liitteen JSON leikepöydälle.

  5. Muokkaa ensimmäistä alitestiä, liitä kopioitu JSON Odotettujen liitteiden JSON -kohtaan ja valitse Tallenna testi.

  6. Valitse monivuoroisen testin aliruudukossa + Uusi agenttitesti uudelleen ja määritä toinen alitesti:

    Kenttä Value
    Testityyppi Liitteet (Mukautuvat kortit tms.)
    Tilaus 2
    Toiminnon tyyppi Toimintojen kutsuminen
    Mukautuvan kortin tiedot {"action": "Allow", "id": "submit", "shouldAwaitUserInput": true}
    Vertailuoperaattori Sisältää dataa (tai Sama kuin, riippuen siitä, minkä vastauksen haluat vahvistaa)
    Odotettu vastaus Jätä tyhjäksi tai aseta tiedot sen mukaan, millaista dataa odotat yhteyden sallimisen jälkeen.

    Tietojen arvot tulevat mukautuvan kortin JSON-merkkijonosta, jonka tallensit vaiheessa 4. Säädä action- ja id-kenttiä, jos liitinkorttisi käyttää eri tunnisteita.

    Valitse Tallenna testi.

  7. Tallenna testisarja ja suorita se uudelleen. Molempien alitestien pitäisi nyt mennä läpi.

Kun tämä monivuoroinen testi suoritetaan onnistuneesti kerran, yhteys valtuutetaan testikäyttäjälle ja seuraavat testit samalle liittimelle voidaan tehdä tavallisina yksivuorotesteinä.

Testien joukkoluonti tai -päivitys Excelissä

Kun testijoukko on luotu, voit tehdä testien joukkoluonnin tai -päivityksen Excelissä.

  1. Vaihda testijoukon tietueesta aliruudukkonäkymä Testeistävienti- ja tuontinäkymään.
  2. Valitse Vie agentin testit Excel Onlinessa.
  3. Lisää ja muokkaa testejä tarpeen mukaan.
  4. Valitse Tallenna.

Jos tuot monivaiheisia alitestejä, sinun on ensin luotava tai tuotava monivaiheinen päätesti. Tuo sitten alitestitapaukset.

Lisätietoja on kohdassa Excel-tuonti ja -vienti Power Appsin mallipohjaisissa sovelluksissa.

Testien ja testijoukkojen monistaminen

Voit monistaa sekä testijoukot että yksittäiset testit.

  • Monista yksi testitapaus avaamalla agentin testitietue ja valitsemalla Monista testitapaus. Tämä toiminto on hyödyllinen, kun luot testitapauksesta erilaisia versioita, esimerkiksi muuttamalla sijaintia, aikaa tai määrää.

  • Monista koko testijoukko avaamalla testijoukkotietue ja valitsemalla komentopalkissa Monista testijoukko. Tämä toiminto luo kopion testijoukosta ja kaikista sen alitesteistä.

Seuraava vaihe

Testien suorittaminen

  • Last updated on