Agenttikeskustelujen vianmääritys Copilot Agent Kitin agentin virheenkorjauksen avulla

Agentin virheenkorjaus on vianmääritystyökalu, joka auttaa lataamaan tallennetun keskustelun ja tarkastamaan jokaisen agentin tekemän päätöksen. Voit tarkastella jokaisessa keskusteluvuorossa suorituspolkua, vaiheen ajoitusta, tunnuksen käyttöä, tietolähteitä, vaiheen argumentteja ja orkestroijan perusteluja.

Agentin virheenkorjaus tukee kahta tietolähdettä:

• Keskustelun transkriptio (Dataverse): Ympäristö tallentaa aktiviteettilokin keskustelun transkriptiona Dataversessa keskustelun ollessa käynnissä Copilot Studiossa. Agentin virheenkorjaus tekee kyselyjä suoraan näissä tietueissa, joten julkaistun agentin transkriptiotiedot ovat heti saatavana.
• Copilot Studion tilannekuva (ZIP): Copilot Studion testipaneelissa on Lataa tilannekuva -vaihtoehto , joka vie nykyisen testikeskustelun ZIP-tiedostona. Kyseisen tiedoston lataaminen agentin virheenkorjaukseen mahdollistaa täyden analyysinäkymän käytön ilman Dataverse-yhteyttä. Tämä menetelmä on kätevä tuotantoa edeltävien keskustelujen virheenkorjauksessa, ongelmien toisintamisessa offline-tilassa tai epäonnistuneen istunnon jakamisessa kollegan kanssa.

Molemmat tietolähteet käyttävät samaa analyysiliittymää. Paneelit, vaihetiedot ja visualisoinnit ovat samat tietojen lataustavasta riippumatta.

Edellytykset

Agentin virheenkorjauksen käyttäminen edellyttää seuraavien edellytysten täyttymistä:

• Agentti on agenttivarastossa ja siihen on tallennettu ainakin yksi keskustelun transkriptio. Tämä ehto voidaan varmistaa avaamalla Agenttivarasto-luettelonäkymä, valitsemalla agentti ja laajentamalla sitten lisäkentät valitsemalla Näytä lisää. On transkriptio saatavilla -kentän määrityksenä on oltava Kyllä. Agenttivaraston synkronointi määrittää tämän kentän automaattisesti, kun agentilla on ainakin yksi keskustelun transkriptio Dataversessa.
• Kirjautuneella käyttäjällä on CSK – järjestelmänvalvoja- tai Järjestelmänvalvoja-käyttöoikeusrooli sarjan ympäristössä.
• Kirjautuneella käyttäjällä on conversationtranscripts-, bot- ja botcomponents-taulukoiden Luku-oikeus kohdeympäristössä.

Keskustelun valinta

Kun agentin virheenkorjaus on avattu, analysoitava keskustelu voidaan hakea suodatinpalkin hallintamekanismien avulla.

Kun Keskustelun tunnus on valittu, Analysointi on käytettävissä. Avaa analyysinäkymä valitsemalla se.

Tilannekuvan lataaminen Copilot Studiosta

Lataa tilannekuva -välilehti on vaihtoehtoinen käyttötapa, joka ei edellytä Dataverse-käyttöoikeutta. Avattavista luetteloista valittavan live-keskustelun sijaan ladataan Copilot Studion testiruudusta ladattu tilannekuvan ZIP-tiedosto.

Tilannekuvan lataaminen Copilot Studiosta:

1. Avaa agentti Copilot Studiossa ja siirry Testaa agentti -paneeliin.
2. Suorita keskustelu tai tarkastele sitä.
3. Valitse Lataa tilannekuva testipaneelin työkalurivillä.

Copilot Studio lataa .zip-tiedoston, joka sisältää seuraavat:

• dialog.json: kaikki keskustelun Bot Framework -aktiviteetit (pakollinen).
• botContent.yml: agentin kaikki komponentti- ja työnkulkumääritelmät, joiden avulla vaiheen nimet ratkaistaan (valinnainen; jos puuttuu, raakarakenteen nimet näytetään).

Tilannekuvan lataaminen agentin virheenkorjaukseen:

1. Siirry Lataa tilannekuva -välilehteen agentin virheenkorjauksen otsikossa.
2. Vedä ja pudota .zip-tiedosto pudotusalueelle tai valitse se ja selaa sitä.

Agentin virheenkorjaus tarkistaa ZIP-tiedoston, purkaa tiedostot ja avaa analyysinäkymän. Ympäristöä, agenttia tai keskustelua ei tarvitse valita. Kaikki yleiset tietomittarit johdetaan ladatusta tiedostosta.

Käytä Lataa tilannekuva -tilaa seuraavissa tilanteissa:

• Testiruudussa ennen agentin julkaisua tapahtuneen keskustelun korjaus.
• Sellaisesta ympäristöstä peräisin olevan keskustelun analysointi, jota ei voi käyttää todennukseen.
• Ongelmien toisintaminen offline-tilassa tai epäonnistuneen istunnon jakaminen kollegan kanssa ilman Dataverse-käyttöoikeuden myöntämistä.
• Agentin toiminnan tarkistaminen paikallisessa kehitysympäristössä.

Keskustelun analysointi

Analyysinäkymä avautuu, kun Analysointi on valittu tai tilannekuva ladattu. Siinä on ylimmäisenä Yleisiä tietoja -yhteenvetoriviä, kutistettava analyysiosa, jossa on neljä paneelia (Suorituspolku, Suorituskyvyn aikajana, Agentin tiedot ja Suositukset), ja kaksi paneelia, joissa on näkyvissä Keskustelun esikatselu ja Tietojen virheenkorjaus -paneeli.

Yleistiedot

Yleistietorivillä näkyy keskustelun yhteenvedon mittariruudut.

Kun live-asiakaspalvelija ladataan Avaa agentti -linkki tulee näkyviin Yleiset tiedot -otsikossa. Linkki avaa agentin määrityssivun Copilot Studiossa.

Suorituspolku

Suorituspolku esittää koko suoritusjärjestyksen kaikissa keskusteluvuoroissa suunnattuna vuokaaviona. Vaiheet kulkevat vasemmalta oikealle suoritusjärjestyksessä. Pystysuorat katkoviivat osoittavat vuoron rajat, ja jokainen käyttäjäviesti aloittaa uuden osion. Vuoroselitteet näkyvät kunkin osion yläosassa. Vuoroselitteen valinta vierittää keskustelun esikatselun kyseiseen viestiin.

Kullakin vaihetyypillä on oma väri ja kaavion alaosassa oleva selite yhdistää värit vaiheluokkiin, kuten Aihe, Tieto, Työkalu, Yhdistin, Työnkulku, Koodi, MCP ja Yhdistetty agentti. Kukin solmu näyttää vaiheen nimen ja suorituksen keston. Epäonnistuneet vaiheet on korostettu punaisella. Yhdistetyt agentit näkyvät säilöinä, jotka ryhmittelevät suoritetut aliaiheet.

Suorituskyvyn aikajana

Suorituskyvyn aikajana näyttää vaiheen suoritusajat keskustelun vuorojen mukaan ryhmiteltynä vesiputouskaaviona. Vaihepalkit on skaalattu vuoron kokonaiskeston mukaan, mikä tuo suhteellisen ajoituksen näkyväksi. Värikoodaus vastaa suorituspolun selitteitä, ja epäonnistuneet vaiheet näkyvät punaisena.

Paneelissa on seuraavat ominaisuudet:

• Laajenna/kutista kaikki -painikkeilla kaikki vuoro-osiot muuttuvat samanaikaisesti. Kukin vuoro-osio voidaan kutistaa myös erikseen.
• Vuorokohtaiset tilastot näyttävät vaiheiden määrän, hitaimman vaiheen nimen ja keston sekä epäonnistumisten määrän.
• Ylhäällä oleva yleinen yhteenveto näyttää vaiheiden kokonaismäärän, kuluneen kokonaisajan, koko keskustelun hitaimman vaiheen ja epäonnistumisten kokonaismäärän.
• 10 sekuntia hitaammat vaiheet merkitään varoitusilmaisimella.

Asiakaspalvelijan tiedot

Agentin tiedot -paneelissa on näkyvissä agentin koko määritys sellaisena, kun se oli keskustelun analysointihetkellä. Tiedot on järjestetty kuuteen välilehteen.

Suositukset

Suosituspaneeli tunnistaa keskustelun ongelmat automaattisesti ja näyttää ne toimintaa ohjaavina kortteina vakavuusluokituksineen.

Seuraavat ongelmatyypit tunnistetaan:

Kussakin suosituskortissa on näkyvissä vakavuuskuvake ja väri, luokan infopiste, havaitun ongelman otsikko ja kuvaus, ongelman tutkimis- tai ratkaisuehdotus sekä Siirry vuoroon -painike, joka vierittää keskustelun esikatselun sopivaan käyttäjän viestiin. Jos ongelmia ei havaita, paneelissa näkyy tyhjä tilaviesti.

Keskustelun esikatselu

Keskustelun esikatselupaneelissa on näkyvissä koko keskustelun sellaisena kuin se käyttäjä se näki, mukaan lukien botti- ja käyttäjäviestikuplat, keskustelun aikana hahmonnetut mukautetut kortit, ehdotetut toimintaelementit ja palautekehotteet.

Käyttäjän viestikuplan valitseminen lataa tämän vuoron vaiheet Tietojen virheenkorjaus -paneeliin. Valittu viesti on korostettu, mikä mahdollistaa aktiivisen vuoron seuraamisen. Paneelia voi vierittää itsenäisesti. Koko transkriptio avautuu JSON-ikkunassa valitsemalla Näytä JSON keskustelun esikatseluotsikossa.

Virheenkorjaustiedot

Virheenkorjaustiedot-paneelissa on näkyvissä valitun käyttäjän viestivuoron vaihetason tiedot. Paneelissa on vasemmalla vaiheluettelo ja vaihetietonäkymä, joka avautuu, kun vaihe valitaan.

Vaiheluettelossa on näkyvissä jokainen valitussa vaiheessa suoritettu orkestrointivaiheen sekä vaihetyypin ilmaiseva vaihekuvake ja väri, vaiheen nimi (mahdollisuuksien mukaan käyttäjäystävälliseen näyttönimeen ratkaistuna), suorituksen kesto ja onnistumisen tai epäonnistumisen ilmaisin. Yhdistettyyn agenttiin kuuluvat vaiheet ryhmitellään kutistettavaan säilökorttiin, jossa on käyvissä agentin nimi ja suorituksen kokonaisaika. Kontin Lataa yhdistetyn agentin tiedot -painike lataa aliagentin koko transkription tarpeen mukaan.

Seuraavia vaihetyyppejä ei tueta:

Vaiheen valitseminen avaa tietopaneelin, jossa on seuraavat osiot. Nämä osiot näkyvät, kun tiedot ovat transkriptiossa:

• Ajatteluprosessi: Ennen vaiheen kutsumista tallennettu orkestroijan perusteluteksti. Näyttää, miten malli päätti nimetä tämän vaiheen ja mitä se odotti siltä.
• Vaiheen tyyppi: vaiheen luokitteluselite.
• Argumentit: Kutistettava vaiheeseen välitettyjen syöteparametrien JSON-puunäkymä. Sisältää kopiointivaihtoehdon, jolla voidaan siepata tukipalvelupyyntöjen JSON-tiedosto.
• Havainto: Vaiheen tulos- tai palautusarvo. Näytetään myös kutistettavana JSON-puuna, joka tukee kopiointia.
• Koodin esikatselu: lähdekoodi näytetään Python-koodin vaiheissa syntaksi korostettuna.
• Tunnuksen käyttö: kehotetunnusmäärä, valmistuneiden tunnusten kokonaismäärä ja vaiheiden kokonaismäärä sekä käytetty mallin nimi.
• Tietolähteet: Lähteet, joissa tehtiin hakuja, palautetut tulokset (tulos) ja lopullisessa vastauksessa käytetyt lähdeviitteet. Kussakin merkinnässä on lähteen nimi, tyyppi, mahdollinen URL-osoite ja lähteen avaava linkki.
• MCP-palvelimen tiedot: MCP-vaiheissa näkyvissä on palvelimen protokollaversio, ilmoitetut ominaisuudet sekä luettelo työkaluista, joita palvelin on antanut valmistelun yhteydessä.
• Virhetiedot: vaiheen epäonnistuessa näkyvissä on virhekoodi, virheilmoitus ja (vastuullisten tekoälyjen estoissa) suodattimen käynnistänyt sisällön turvallisuusluokka.
• Mukautuvat kortit: jos vaihe tuottaa mukautuvan kortin vastauksen, kortti hahmonnetaan tietopaneelissa täsmälleen sellaisena kuin käyttäjä sen näki.

Transkription JSON

Kun keskustelun esikatseluotsikossa valitaan Näytä JSON, avautuvassa ikkunassa on näkyvissä transkription aktiviteettien koko raakaversio sekä syntaksin korostus, tekstihaku JSON-puussa ja kaikkien tietojen leikepöydälle kopiointivaihtoehto.

Käytä tätä näkymää, kun

• on tarkasteltava tapahtumatyyppiä, jota ei näytetä Virheenkorjaustiedot-paneelissa
• tukipalvelupyyntöä varten on kopioitava tiettyjä kenttiä
• jäsennetyissä näkymissä tutkitaan odottamatonta toimintaa.

Vianmääritys

Seuraavissa osioissa kuvataan yleisiä ongelmia ja miten ne voidaan ratkaista.

Agentti ei näy avattavassa Ympäristö- tai Agentti-valikossa

Agenttia ei ole synkronoitu agenttivarastoon tai siinä ei ole yhtään keskustelun transkriptiota.

Voit ratkaista ongelman seuraavasti:

1. Suorita ympäristön agenttivaraston synkronointi manuaalisesti.
2. Varmista, että agenttitietue on Dataversen Agentin tiedot -taulukossa.
3. Tarkista, että On transkriptio saatavana -sarakkeen määrityksenä tietueessa on Kyllä. Synkronointi määrittää tämän kentän, kun transkriptioita on ainakin yksi.

Lisätietoja on kohdassa Agenttien valvonta Copilot Agent Kitin agenttivaraston avulla.

Keskustelun tunnusta ei löytynyt avattavasta luettelosta

Suorituskyvyn säilyttämiseksi avattavaan luetteloon ladataan valmiiksi vain 50 uusinta keskustelua aktiivisella aikavälillä. Vanhat transkriptiot ovat edelleen Dataversessa, mutta ne eivät oletusarvoisesti ole näkyvissä. Transkriptioita ei ole ehkä vaihtoehtoisesti vielä kirjoitettu, jos keskustelu on juuri päättynyt.

Voit ratkaista ongelman seuraavasti:

1. Kirjoita keskustelun tunnus suoraan Keskustelun tunnus -kenttään. Kirjoittaminen käynnistää täyden haun kyseisen agentin kaikissa transkriptioissa eikä aikaväliä huomioida.
2. Jos aikaväli on lyhyt (esimerkiksi Viimeiset 30 minuuttia), laajenna sitä tai vaihda mukautettuun vaihteluväliin, joka kattaa keskustelupäivän.
3. Jos keskustelu juuri päättyi, odota 35–40 minuuttia transkription kirjoittamista Dataverseen, ja päivitä sitten.

Lataukset analysoidaan mutta vaiheita ei näy Virheenkorjaustiedot-paneelissa

Transkriptio on olemassa mutta sisältää vain viestityyppisiä aktiviteetteja ilman vianmäärityksen jäljitystapahtumia. Tämä ongelma esiintyy yleensä, kun keskustelun alkuperä on kanava, joka ei lähetä jäljitysdataa. Tällaisia kanavia ovat tietyt mukautetut kanavat tai vanhat rakenneversiot.

Voit ratkaista ongelman seuraavasti:

1. Varmista valitsemalla Näytä JSON keskustelun esikatseluotsikosta, että aktiviteetteja on.
2. Etsi type: "trace"- tai type: "event"-merkintöjä. Jos ne puuttuvat, kanava ei välttämättä lähetä jäljitysdataa.

Pääsy estetty tai tyhjä sivu latauksessa

Roolit tai oikeudet puuttuvat toisesta tai molemmista ympäristöistä.

Voit ratkaista ongelman seuraavasti:

1. Varmista sarjan ympäristössä, että käyttäjällä on CSK – järjestelmänvalvoja- tai Järjestelmänvalvoja-rooli.
2. Varmista kohdeympäristössä, että kirjautuneella käyttäjällä on conversationtranscripts-, bot- ja botcomponents-taulukoiden lukuoikeus.

Transkriptiot vaikuttavat keskeneräisiltä (varhaiset viestit puuttuvat)

Pitkät keskustelut jaetaan useisiin Dataverse-tietueisiin kesken (tietuekohtainen rajoitus 1 Mt). Jos säilytyskäytäntö tyhjentää joitakin tietueita, yhdistetyssä transkriptiossa on aukkoja.

Voit ratkaista ongelman seuraavasti:

1. Dataverse tyhjentää oletusarvoisesti yli 30 päivää vanhat keskustelun transkriptiot. Jos ongelmana on säilytys, päivitä joukkopoistotyön aikataulu valitsemalla Power Apps>Asetukset>Lisäasetukset>Tiedonhallinta>Tietueiden joukkopoisto.
2. Jos syynä ei ole säilytys, varmista, että kaikki keskustelun transkriptiotiedot ovat Dataversen conversationtranscripts-taulukossa.

Vaiheissa näytetään rakenteen raakaversion nimet eikä luettavat aiheen nimet

botcomponents-taulukkohaku epäonnistui tai komponenttitietue poistettiin.

Voit ratkaista ongelman seuraavasti:

1. Varmista, että kirjautuneella käyttäjällä on botcomponents-taulukon lukuoikeus kohdeympäristössä.
2. Jos komponentti poistettiin Copilot Studiosta, vastaavaa tietuetta ei ole ja agentin virheenkorjaus palaa rakenteen raakaversion nimeen, kuten cr123_mytopic. Tämä toiminto on odotettavissa, kun kyse on poistetuista aiheista tai toiminnoista.

Agentin tiedot -paneelissa ei näy tietoja

Agentin määrityksen nouto epäonnistui tai kirjautuneen käyttäjän yhteydellä ei ole bot- ja botcomponents-taulukoiden lukuoikeutta kohdeympäristössä.

Voit ratkaista ongelman seuraavasti:

1. Varmista sovelluksen yhteysviitteenä käyttämän bot- ja botcomponents-taulukoiden lukuoikeudet.
2. Jos agentti poistettiin tai julkaisu peruttiin keskustelun tallentamisen jälkeen, sen määritystietueita ei ole ehkä enää olemassa. Tässä tapauksessa Agentin tiedot -paneeli pysyy tyhjänä mutta transkriptio- ja virheenkorjauspaneelit ovat edelleen täysin toimivia.

Suosituspaneelissa ei ole näkyvissä ongelmia mutta keskustelu epäonnistui

Suositukset saadaan transkription jäljitystapahtumien toimintamalleista. Jos transkriptiosta puuttuu jäljitysdataa tai jos virhe tapahtuu keskustelun ulkopuolella (esimerkiksi hiljainen verkkoaikakatkaisu, jota transkriptio ei tallenna), järjestelmä ei luo suosituksia.

Voit ratkaista ongelman seuraavasti:

1. Etsi sellaisten virheiden raakatietoja, joita ei näytetä suosituksina, avaamalla transkription JSON.
2. Tarkista punaisina näkyvien vaiheiden suorituspolku. Nämä vaiheet osoittavat virheet, jotka eivät vastaa tunnettua suositusmallia.

Liittyvät tiedot

• Agenttien valvominen Copilot Agent Kitin agenttien varaston avulla
• Agenttien määrittäminen Copilot Studio Kitissa
• Copilot Agent Kit – yleiskatsaus