Esikatsele ja testaa agentti (asiakaskeskustelu) (esikatselu)

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Agentti, joka näyttää oikealta Build-välilehdellä, voi silti epäonnistua keskustelussa. Ohjeet ovat ohjeistusta, eivät takeita: malli tulkitsee ne, ja ero sen välillä, mitä kirjoitit ja mitä agentti tekee, ilmenee vasta, kun oikeasti puhut sille. Käytä Preview-välilehteä testataksesi agenttiasi sekä verkkokeskustelussa että puheessa ennen julkaisua.

Testauskanavat

Preview-välilehdellä on kaksi tapaa testata agenttiasi:

  • WWW-keskustelu: Tekstipohjainen chat-paneeli. Suurin osa testausajasta pitäisi käyttää täällä. Se on nopeampaa kuin ääni, koko transkriptio näkyy ja saat päättelyketjun chatin rinnalle.
  • Äänipuhelu: Live-äänikeskustelu agenttisi kanssa. Äänessä on vikatiloja, joita ei ole koskaan tekstissä, joten se on testattava erikseen, vaikka chat läpäisisi testauksen ongelmitta.

Vaihtele testikanavia valitsemalla Verkkokeskustelu tai ÄänipuheluEsikatselu-välilehden yläosassa. Keskustelun vieressä näkyy Live Transcript -paneeli.

Ennen aloittamista

  • Tallenna muutokset. Esikatselupaneeli suorittaa tallennetun agentin, ei Build-välilehden tallentamattomia muokkauksia.
  • Tiedä, miltä "oikea" näyttää. Kirjoita odotettu lopputulos ylös ennen kuin lähetät ensimmäisen viestin.
  • Avaa Toimintakartta. Se sijaitsee chatin vieressä ja näyttää reitityksen, työkalukutsut ja aiheen suorituksen. Tämä mahdollistaa päättelyvirheen erottamisen välitysvirheestä.
  • Aloita uusi testisessio skenaarioiden välillä. Konteksti siirtyy ja vaikuttaa seuraavaan tulokseen.

Testattavat viisi kerrosta

Työskentele ulospäin yksinkertaisimmasta kerroksesta. Varhaisen kerroksen vika aiheuttaa ketjureaktion, joten korjaa ongelmat järjestyksessä.

Taso Mitä testaat Toimivuuden päätteleminen
Tervehdys ja vaikutusalue Agentti esittelee itsensä ja ymmärtää oman tehtävänsä Avausviesti vastaa kuvaustasi; se hyväksyy soveltamisalaan kuuluvat pyynnöt
Reititys Orkestroija valitsee oikean aliagentin Aktiviteettikartta näyttää oletettavasti käynnistettävän asiantuntijan
Työkalut ja aiheet Toiminnot suorittavat ja palauttavat dataa Todelliset arvot palaavat, eivät paikkamerkit tai hiljaisuus
Tietämys Vastaukset perustuvat lähteisiisi Viitteet näkyvät ja vastaavat määriteltyjä lähteitäsi
Suojakaiteet Kieltäytymiset, eskalaatio ja liiketoimintasääntöjen pito Agentti hylkää, eskaloi tai merkitsee täsmälleen ohjeiden mukaan

Testaus verkkokeskustelussa

Onnistuneen polun suorittaminen ensin

Toimi sellaisen realistisen käyttäjän tavoin, jolla on selkeä tavoite, äläkä ominaisuuksia tutkivana testaajana. Jos kyseessä on esimerkiksi matkatoimiston virkailija, silloin on varattava oikea matka alusta loppuun sen sijaan, että kysytään, voidaanko lennot varata?

  1. Avaa tavoite luonnollisesti, kuten oikea käyttäjä tekisi.
  2. Vastaa agentin kysymyksiin yhteistyöhaluisena käyttäjänä.
  3. Seuraa kulkua todelliseen lopputulokseen: varaukseen, yhteenvetoon, ratkaisuun.
  4. Pyydä yhteenveto lopuksi ja tarkista kaikki siinä olevat faktat transkription perusteella.

Sitten riko se tahallaan

Onnistunut polku todistaa, että agentti voi toimia. Nämä skenaariot todistavat, että se vikaantuu turvallisesti.

Testaa Mitä lähettää Mitä pitäisi tapahtua
Puuttuva yksityiskohta Ohita agentin tarvitsema pakollinen kenttä Se pyytää juuri kyseistä kenttää kerran
Mielenmuutos Päätöksen peruuttaminen työnkulun aikana Se päivittyy menettämättä aiempaa kontekstia
Ei kuulu soveltamisalaan Kysy jotain sen osaamisalueen ulkopuolelta Se hylkää ja ohjaa uudelleen ilman improvisaatiota
Eskalointi Käynnistä dokumentoitu luovutussääntö Se siirtää tehtävän sen sijaan, että se yrittäisi suorittaa tehtävän
Liiketoimintasääntö Ilmoitetun rajan, kuten budjetin, rikkominen Se merkitsee konfliktin selkeästi
Istuntomuisti Aiemman tiedon toistamisen pyytäminen Se muistaa tarkasti, ilman uudelleenkysymistä

Aktiviteettikartan eikä vain vastauksen lukeminen

Chat kertoo, mitä agentti sanoi. Aktiviteettikartta ilmoittaa, mitä tehtiin. Kun vastaus näyttää väärältä, kartta kertoo, missä sen voi korjata:

  • Väärä asiantuntija on kutsuttu → reititysohjeesi tai aliagenttikuvauksesi ovat epäselviä.
  • Oikea asiantuntija, huono tulos → aliagentin omia ohjeita pitää työstää.
  • Työkalu käynnistyi, mutta ei palauttanut mitään → työkalu tai aihe on rikki, ei kehote.
  • Ei lainkaan työkalukutsuja → agentti vastasi mallin eikä datan perusteella. Käsittele jokaista vastauksen arvoa tarkistamattomana.

Äänitestaus

Ääni ei ole verkkokeskustelu, johon on liitetty ääni. Siinä on vikatiloja, joita ei esiinny koskaan tekstissä, joten se on testattava erikseen, vaikka chat läpäisisi testauksen ongelmitta.

  1. Myönnä mikrofonin käyttöoikeus ja aloita sitten äänikeskustelu. Varmista myös, että tila siirtyy yhdistettyyn, kuuntelevaan tilaan.
  2. Lausu koko pyyntö luontevasti sen sijaan, että lukisit skriptin sanasta sanaan.
  3. Katso reaaliaikainen transkriptio. Jos puheentunnistus kuulee väärin, agentin vastaus vastaa eri kysymykseen kuin mitä sinä kysyit.
  4. Varmista keskeyttämällä agentti kesken lauseen, että keskeyttäminen pysäyttää toiston ja kuuntelee.
  5. Varmista olemalla hiljaa useita sekunteja, että järjestelmä antaa kehottaa uudelleen kohteliaasti sen sijaan, että puhelu katkaistaisiin.
  6. Pyydä vahvistuskoodia ja tarkista sen kirjoitusasu kirjain kirjaimelta sen sijaan, että lukisit sen sanana.

Kuunneltavat seikat

  • Pituus: jos pituus on yli kolme lausetta, seuranta kuuntelemalla ei onnistu.
  • Listat ja URL-osoitteet: Nämä tulee tiivistää, eikä niitä saa koskaan lukea ääneen kohta kohdalta.
  • Päivämäärät ja numerot: "tiistai 24. maaliskuuta" toimii; "2026-03-24" ei toimi.
  • Tärkeiden tietojen vahvistus: nimet, päivämäärät ja koodit on toistettava soittajalla, ennen kuin agentti toimii niiden perusteella.

Jos puhe käyttäytyy kuten sinun Chat-kanavasi, kanavakohtaiset ohjeesi eivät toimi. Puhe- ja chat-ohjeet on määritetty erikseen kunkin agentin kohdalla Ohjeet-osion Puhe- ja Chat-välilehdillä. Katso Puhe- ja chat-asetusten yleiskatsaus.

Vinkki

Suorita kriittiset skenaariot useammin kuin kerran, ja suorita vähintään yksi pitkä istunto. Myös ajoittaiset viat ovat vikoja, ja juuri ne päätyvät tuotantoon.

Kun jokin epäonnistuu

  1. Toista se. Aloita uusi sessio ja aja sama reitti uudelleen, tarkistaen, epäonnistuuko se joka kerta vai ajoittain.
  2. Löydä se Aktiviteettikartan avulla: reititys, työkalu, tieto tai ohje.
  3. Korjaa yksi asia kerrallaan. Useiden ohjeiden vaihtaminen yhtä aikaa tekee mahdottomaksi tunnistaa, mikä toimi.
  4. Tallenna, aloita uusi sessio ja suorita uudelleen täsmälleen sama skenaario.
  5. Suorita muut onnistuneet skenaariot uudelleen. Ohjeiden muutoksilla on sivuvaikutuksia.

Lähetysvalmiuden tarkistuslista

  • Onnistunut polku etenee päästä päähän ilman erillistä opastusta.
  • Jokainen lopullisen yhteenvedon fakta on jäljitettävissä johonkin, jonka työkalu tai tietolähde on oikeasti palauttanut.
  • Käyttäjän näkyvässä vastauksessa ei näy missään paikkamerkkitekstiä.
  • Agentti raportoi epäonnistumisesta rehellisesti, kun työkalu ei palauta mitään.
  • Eskalaatio- ja kieltäytymissäännöt toimivat luotettavasti.
  • Äänivastaukset ovat lyhyitä ja koodit tavataan kirjain kirjaimelta.
  • Kriittisiä skenaarioita suoritettiin useammin kuin kerran, mukaan lukien yksi pitkä sessio.