Aja ja validoi tekoälymallin migraatio Copilot Studio -agenteille

Seuraavat osiot koskevat jokaista mallimuutosta, olipa kyseessä proaktiivinen päivitys tai vastaus eläköitymiseen. Määrittele portit ensin, ota lähtöviiva nykyisestä mallista ja käy sitten vaiheet läpi.

Määrittele migraation hyväksymisportit

Määrittele hyväksymiskriteerit ennen ehdokasmallin arviointia siten, että agentin arviointi tuottaa päätöksen pelkän pistejoukon sijaan. Sisällyttää:

  • Minimiläpäisyprosentti kokonaisuudessaan
  • Vaadittu läpäisyprosentti liiketoiminnan kannalta kriittisissä tilanteissa
  • Kriittiset viat, jotka estävät migraation riippumatta kokonaispisteistä
  • Sallittu viive ja luotettavuusvaihtelu
  • Turvallisuus-, vaatimustenmukaisuus- ja alueellinen käsittelyhyväksyntä
  • Hyväksyttävä kulutus tai kustannusvaikutus
  • Vaadittu omistajan ja vapautuksen hyväksyjän hyväksyntä

Vertaa nykyistä ja ehdokasmallia käyttämällä samaa agenttikonfiguraatiota, testidataa, testijoukkoa, käyttäjäprofiileja ja ympäristöoletuksia. Tutki yksittäisiä regressioita sen sijaan, että luottaisit pelkästään keskimääräiseen pistemäärään.

Mallin tulokset ovat todennäköisyyspohjaisia. Suorita tärkeitä skenaarioita useamman kerran, kun vaihtelu voi vaikuttaa päätökseen.

Luo uudelleenkäytettävä arviointilähtötaso

Ennen mallin muuttamista luo testijoukko, joka edustaa agentin liiketoimintakriittiset ja korkean taajuuden skenaariot. Suorita testisarja nykyistä tuotantomallia vastaan perustason määrittämiseksi.

Käytä sekä testichattia että agentin arviointia:

Käytettävissä olevat testimenetelmät riippuvat agentin valjaista, joten varmista ne ennen testisarjan suunnittelua. Lue lisää artikkelista Vahvista, mitä testausmenetelmiä agenttisi tukee.

Arvioi koko agentin käyttäytyminen

Älä hyväksy korvaavaa mallia vain siksi, että sen kokonaisläpäisyprosentti on samanlainen kuin nykyisessä mallissa.

Käy läpi seuraavat alueet. Jokainen niistä on käyttäytymismalli, joka usein muuttuu mallin muuttuessa, joten testijoukko, joka jättää alueen pois, ei pysty havaitsemaan regressiota siinä.

Arviointialue Mitä mallinmuutos voi rikkoa Miten tarkistaa se
Vastauksen laatu Relevanssia, täydellisyyttä, tarkkuutta, selkeyttä ja johdonmukaisuutta kysymyksissä, joita agentti saa useimmin. Yleinen laatu
Juurtuneisuus ja tieto Malli vastaa koulutusdatasta eikä konfiguroidusta tietolähteestä, poistaa viittauksia tai käsittelee puutteellisia tai ristiriitaisia lähteitä eri tavalla. Yleinen laatu
Pidättäytyminen Malli vastaa laajuuden ulkopuoliseen kysymykseen sen sijaan, että se hylkäisi tai eskaloituisi. Yleinen laatu, eli Custom, jossa on vastatut ja hylätyt etiketit
Ohjeiden seuraaminen Ohjeet, joita malli luotettavasti noudattaa, ohitetaan, kuten eskalaatiosäännöt, rajat, kielletyt käytökset tai pakollinen vastuuvapauslauseke. Avainsanojen vastaavuus vaadituissa lauseissa tai mukautettu ohjekohtaisilla nimityksillä
Kiinteät arvot ja tulostusmuoto Tarkka arvo, kuten puhelinnumero, koodi tai tunniste, parafraseerataan tai keksitään, tai lähtömuoto muuttuu ja rikkoo alavirran jäsentimen tai kanavaintegraation. Tarkka osuma, tai avainsanavastaavuus vaadittuun muotoon
Työkalujen valinta ja rajoittaminen Malli valitsee toisen työkalun, ei kutsu yhtään tai kutsuu työkalua, kun työkalua ei tarvita. Työkalun käyttö odotettujen työkalujen tai aiheiden kanssa sekä aktiviteettikartan tarkistus
Työkalusyötteet ja sekvensointi Parametrit poimitaan, muotoillaan tai oletetaan, tai monitoimityökalutehtävän vaiheet järjestetään uudelleen, yhdistetään tai poistetaan. Työkalujen käyttö kaikkien odotettujen työkalujen kanssa sekä yleinen laatu
Vahvistus ja vikaantuminen Malli lakkaa pyytämästä vahvistusta ennen kuin jokin seuraustoimenpide ilmenee tai työkaluvirhe ilmenee eri tavalla sen sijaan, että se raportoitaisiin. Mukautettu vahvistustarroilla sekä avainsanavastaavuus odotetun virhekielen mukaan
Monikäännöskäyttäytyminen Aiempien vuorojen konteksti katoaa tai tulkitaan uudelleen, tai selvennykset, aiheen muutokset ja palautus käsitellään eri tavalla. Yleinen laatu keskustelutestisarjassa
Sekava ja vastakkainasettelu Heikompi käsittely kirjoitusvirheissä, katkelmissa ja epäselvässä tarkoituksessa, tai eri reaktio prompt-injection- ja rooliohitusyrityksiin. Yleinen laatu sekä Custom, jossa on Refused- ja Complied-etiketit
Turvallisuus ja vaatimustenmukaisuus Haitallisen sisällön käsittely, tietojen saatavuus, käyttöoikeudet, alueellinen käsittely ja vastuulliset tekoälyvaatimukset. Räätälöidyt etiketit sekä vastuullinen tekoälyarvostelu
Viive ja luotettavuus Vasteaika, aikakatkaisut, vaihtelu, epäonnistuneet puhelut ja uusintayritykset edustavissa olosuhteissa. Ei raportoitu arvioinnissa. Mittaa testichatissa ja tuotannon seurannassa.
Kulutus ja kustannukset Copilot Creditin kulutus tai muut malliin liittyvät kustannukset edustavissa tilanteissa. Ei raportoitu arvioinnissa. Mittari kapasiteetin ja kulutuksen raportoinnissa.
Kielet ja kanavat Laatu ja käyttäytyminen tuetuissa kielissä, käyttäjäprofiileissa ja käyttöönottokanavilla. Suorita testisarja jokaiselle tärkeälle kielelle, käyttäjäprofiilille ja kanavalle

Kiinnitä erityistä huomiota ohjeiden noudattamiseen ja viiveeseen. Ehdokasmalli voi parantaa vastauslaatua, mutta aiheuttaa hitaampia vastauksia, erilaista työkaluvalintakäyttäytymistä tai virheitä ohjeissa, jotka olivat luotettavia edellisessä mallissa.

Varmista, mitä testausmenetelmiä agenttisi tukee

Agenttisi käytettävissä olevat testausmenetelmät riippuvat sen valjaista.

Lisätietoja:

Rakenna ja ylläpidä testijoukkoa

  • Käy ensin läpi liiketoiminnan kannalta kriittiset onnelliset polut ja suuren volyymin pyynnöt, sitten vaikeat tapaukset: reunatapaukset, vastakkainasettelun syötteet, pyynnöt, jotka pitäisi hylätä tai eskaloida, työkaluviat, pitkät keskustelut ja monikieliset pyynnöt.
  • Aloita oikeasta liikenteestä. Analytiikkateemat ja tallennetut keskustelut tuottavat edustavampia testitapauksia kuin keksityt.
  • Suosi peittävyyttä kiillotuksen sijaan. Suurempi joukko epätäydellisiä tapauksia löytää enemmän regressioita kuin pieni joukko täydellisesti muotoiltuja.
  • Pisteytä ensin nykyinen malli, sitten ehdokas. Vertailu, ei absoluuttinen luku, kertoo, onko muutto turvallinen.
  • Pidä setti agentin kanssa versionhallinnassa ja aja se muuttumattomana jokaista mallinvaihtoa varten.
  • Jaa setti riskialueen mukaan. Standardivaljakolla varustettu testisarja sisältää jopa 100 testitapausta, joten käytä erillisiä sarjoja tiedon tarkkuuden, työkalun käyttäytymisen ja turvallisuusherkkien tilanteiden osalta.
  • Vientitulokset. Arviointitulokset säilytetään 89 päivän ajan, joten vie ne CSV:hen, jotta voit pitää kirjaa siitä, mitä kukin malli sai siirtovaiheessa.
  • Muunna tuotantohäiriöt ja käyttäjäpalaute uusiksi regressiotesteiksi.

Lue lisää agenttien arvioinnin suunnittelusta ja operationalisoinnista.

Muistio

Agenttien arviointi mittaa oikeellisuutta ja suorituskykyä, ei tekoälyn etiikkaa tai turvallisuusongelmia. Agentti voi läpäistä jokaisen testitapauksen ja silti tuottaa sopimattoman vastauksen. Käytä vastuullisia tekoälyarvioita ja sisällön turvallisuussuodattimia arvioinnin ohella.

Automatize toistuvat arvioinnit

Copilot Studio tukee arviointien suorittamista Power Platform API:n kautta, joten mallin validoinnin voi integroida julkaisutyönkulkuihin ja jatkuvaan integraatioputkeen. Suuressa agenttikiinteistössä automaatio tekee toistuvista ehdokastestauksista kestävää manuaalisen sijaan. Lue lisää Power Platform API:n arvioinnin automatisoinnista.

Päivitä agentin artefaktit, joihin mallinmuutos vaikuttaa

Mallin muutos harvoin vaikuttaa pelkästään mallin asetelmaan. Käännä sovellettava palveluntarjoajan ohjeistus hallitsemiesi agenttien artefakteiksi ja validoi jokainen muutos arvioinnin perustason mukaan. Korjaus, jota ei testata uudelleen, on arvaus.

Artefakti Tyypillinen muutos
Agentin ohjeet Tee implisiittiset odotukset selkeiksi, poista edelliseen malliin kirjoitetut kiertotiet, määrittele rajat ja eskalointisäännöt sekä kielletyt käyttäytymismallit yksiselitteisesti, ratkaise ristiriitaiset ohjeet ja kalibroi, kuinka paljon itsenäistä toimintaa agentin tulisi tehdä.
Aihe- ja solmuohjeet Sovella samaa käsittelyä aihetasolla ja varmista, että generatiiviset vastaussolmut käyttäytyvät edelleen odotetusti.
Työkalu- ja toimintakuvaukset Kirjoita uudelleen selkeyden vuoksi. Tämä kuvaus on mallin lukema, kun päätetään, kutsutaanko ja milloin työkalua, ja epämääräiset kuvaukset aiheuttavat sekä ylikutsun että alikutsun.
Syöte- ja lähtöparametrien kuvaukset Tiukenna muotoa, yksiköitä, esimerkkejä sekä vaadittuja tai valinnaisia semantiikkaa, jotta parametrien generointi pysyy oikeana.
Tietolähteen määritys Tarkista uudelleen lähteen valinta-, skooppi- ja maadoitusohjeet sekä tarkista viittauskäyttäytyminen.
Vastauksen muotoiluohjeet Ilmaise vaadittu rakenne, pituus, vastuuvapauslausekkeet ja tarkat arvot selkeästi, koska uudemmat mallit muuttavat oletussanailua.
Vahvistus- ja turvaportit Vahvista eksplisiittiset vahvistusvaatimukset ennen seuraavia toimia.
Alavirran kuluttajat Päivitä Power Automate -virrat, adaptiiviset kortit, kanavaintegraatiot ja kaikki jäsentimet, jotka lukevat agentin tulostusta.
Itse testisetti Lisää mukaan uudet vikaantumismallit, jotka löydettiin muuton aikana.

Muuttovaiheet

Seuraavat vaiheet asettavat edeltävät osat toteutusjärjestykseen. Käytä niitä toimintasuunnitelmana yksittäisen agentin mallimuutokselle, olipa muutos sitten ennakoiva vai eläkkeelle jäämisen ajama.

Vaihe 0: Valmistaudu

  1. Varmista, että ehdokasmalli on pätevävaatimusten mukaisesti: yleisesti saatavilla vai oletus, saatavilla alueella, ristiin-geo-asenne hyväksyttävä, ylläpitäjän tukema ja oikea käyttökategoria agentin tarkoitukseen.
  2. Lue mallintoimittajan päivitysohjeet ja merkitse ylös ohjeet ja työkalumuutokset, joita se tarkoittaa.
  3. Tunnista vaikutusaineet varastosta, tallennusympäristöstä, omistajista ja kriittisyydestä.
  4. Varmista, mitä arviointimenetelmiä agentin valjaat tukevat.
  5. Määrittele ja hyväksy siirtymän hyväksymisportit.

Vaihe 1: Perusta nykyinen malli

  1. Rakenna tai päivitä regressiotestisarja niin, että se kattaa liiketoiminnan kannalta kriittiset ja korkean taajuuden tilanteet.
  2. Suorita testisetti nykyistä tuotantomallia vastaan perustason määrittämiseksi. Tee tämä niin kauan kuin nykyinen malli on vielä paikallaan, koska mallin muuttumisen jälkeen peruslinjaa ei voi enää rakentaa uudelleen.
  3. Kirjaa viive ja Copilot Credit -kulutus erikseen. Arvioinnit eivät raportoi heitä.
  4. Vie tulokset CSV :hen, jotta tietue säilyy säilytysikkunan jälkeen.

Vaihe 2: Arvioi ehdokas ei-tuotantoympäristössä

  1. Valmistele agentin ei-tuotantokopio noudattaen Copilot Studio -ohjeita sovelluksen elinkaaren hallinnassa ja agentin testauksessa. Määritä ympäristö niin, että se edustaa tuotantoa:

    • Käytä samoja agentin ohjeita, aiheita, tiedonkonfiguraatiota, työkaluja, virkuja, liittimiä, kieliä ja tietoturvaoletuksia.
    • Käytä edustavia testiidentiteettejä ja yhteyksiä.
    • Sovella samoja datakäytäntöjä ja asiaankuuluvia ylläpitäjän hallintakeinoja.
    • Varmista alueellinen saatavuus ja vaaditaanko maantieteellistä datan siirtoa.
    • Kirjaa ylös kaikki erot testin ja tuotannon välillä, jotka voisivat vaikuttaa tulokseen.

  2. Vaihda mallia. Mene agentin Yleiskatsaussivulle ja valitse ehdokkaan päämalli Malli-osiosta . Syvällisille päättelylle, generatiivisille vastauksille ja kehotteiden rakentajalle on olemassa erilliset asetukset, joten tarkista, käyttääkö agentti näitä ominaisuuksia ja pitääkö niitäkin muuttaa.

  3. Toista sama testisarja muuttumattomana ehdokasmallia vastaan.

  4. Vertaa kahta juoksua hyväksymisportteihin tunnistaaksesi parannuksia ja taantumisia.

  5. Tarkastele orkestrointia laadullisesti testichatissa käyttämällä toimintakarttaa varmistaaksesi, mitkä työkalut on valittu, missä järjestyksessä ja millä parametreilla.

  6. Mittaa ehdokkaan viive ja kulutus sekä vertaa niitä lähtöarvoon.

Vaihe 3: Puhdistus

  1. Päivitä agentin artefaktit, joihin mallin muutos vaikuttaa, ja suorita testisarja uudelleen korjattua agenttia vastaan. Lue lisää artikkelista Improve agents käyttämällä arviointipohjaista triagea ja puhdistusta.
  2. Käy läpi, kunnes hyväksymisrajat täyttyvät, tai päädy, että ehdokasmalli ei sovellu, ja dokumentoi miksi. Päätös olla päivittämättä on aito, näyttöön perustuva lopputulos.

Vaihe 4: Hyväksy ja ota käyttöön

  1. Hanki hyväksyntäportit agentin omistajalta ja vapautushyväksyjältä, mukaan lukien turvallisuus- ja vaatimustenmukaisuuden hyväksyntä, kun kyseessä on ristiingeo- tai ulkoiset mallit.
  2. Otetaan käyttöön vakiintuneen ALM-prosessin kautta, edistäen ratkaisua testistä tuotantoon. Älä muokkaa tuotantoagenttia manuaalisesti.
  3. Käynnistä julkaisu silloin, kun kanava sen sallii. Julkaise ensin pilottiyleisölle tai yhdelle kanavalle, seuraa tulosta ja laajenna sitten.

Vaihe 5: Seuraa ja sulje

  1. Seuraa tuotantokäyttäytymistä hyväksymisporttien suhteen.
  2. Lisää vastikään löydetyt vikakuviot regressiotestijoukkoon.
  3. Siirtymä voidaan sulkea vasta, kun hyväksymiskriteerit ovat tuotannossa täyttyneet .
  4. Säilytä arviointitodisteet ja siirtymäpäätösrekisteri auditointia ja seuraavaa elinkaaren tapahtumaa varten.

Tärkeää

Mallin muutoksen palautuspolku on aiemmin validoidun ratkaisuversion uudelleenkäyttöönotto, joka on hitaampi kuin konfiguraatiokytkin. Tämä ero tekee arvioinnin portista vaiheessa 2 niin tärkeän. Regression havaitseminen ennen käyttöönottoa on edullisempaa kuin sen kääntäminen sen jälkeen.

Seuranta siirron jälkeen

Mallin elinkaaren työ jatkuu käyttöönoton jälkeen. Monitori:

  • Agentin arvioinnin tulokset ja kriittisten skenaarioiden läpäisyprosentit.
  • Tuotantoanalytiikka, transkriptit, toiminta, virheet ja käyttäjäpalaute.
  • Ohjeiden noudattamisen ja työkalujen valinnan epäonnistumiset.
  • Viive, aikakatkaisut ja luotettavuus.
  • Kulutus muuttuu.
  • Turvallisuus-, vaatimustenmukaisuus- ja alueellisen käsittelyn huolenaiheet.

Kun tuotannon seuranta tunnistaa uuden vikakuvion, lisää edustava tapaus regressiotestijoukkoon. Tämä käytäntö parantaa seuraavan mallin arviointia ja muuttaa tuotannon oppimisen kestäväksi laadun perustaksi.

Ympäristötason telemetria lähettää OpenTelemetry GenAI:ta Application Insights -ohjelmaan, mukaan lukien malli, jota käytetään kussakin agentin kutsussa. Käytä sitä varmistamaan, millä mallin tuotantoliikenteellä oikeasti toimii, ja vertaillaksesi työkalun valintaa ja luotettavuutta ennen ja jälkeen migraation.

  • Last updated on