Agentin arvioiminen (asiakaskeskustelu) (esiversio)

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Mittaa Arviointi-välilehden avulla agentin suoritusta testikysymysten tai -keskustelujen avulla ennen julkaisua.

Arviointi-välilehden yleiskatsaus

Kun avaat Evaluate-välilehden ensimmäistä kertaa, se näyttää tyhjän tilan: Arvioi agenttisi suorituskykyä, ja siinä on Luo testijoukko -painike. Kun vähintään yksi testijoukko on luotu, välilehdessä näkyy sen sijaan Arviointijoukot-taulukko sekä Nimi-, Suorituksen tila-, Testimenetelmät- ja Viimeisin suorittaja-sarakkeet Uusi arviointi -painikkeen lisäksi.

Testijoukon luominen

  1. Valitse Arviointi-välilehdessä Luo testijoukko (tai Uusi arviointi, jos testijoukkoja on jo luotu).

  2. Valitse datatyyppi:

    • Yksittäinen vastaus: Tarkista, miten agentti vastaa tiettyyn kysymykseen. Soveltuu parhaiten kohdennettuun ominaisuustestaukseen.
    • Keskustelu (esiversio): agentin ja käyttäjien pitkien vuorovaikutusten laadun tarkistaminen. Paras yleisiin arviointeihin.

  3. Valitse tietolähde:

    • Lataa CSV-tiedosto: Vedä CSV-tiedosto latausalueelle tai valitse selaa. Käytä annettua CSV-mallipohjaa varmistaaksesi, että tiedoston sisältö ja muotoilu ovat oikein. Maksimitiedostokoko on 5 MB.
    • Nopea kysymyssarja: Luo 10 kysymystä agenttisi kuvauksen, ohjeiden ja kykyjen perusteella.
    • Koko kysymyssarja: Luo enintään 100 kysymystä, käyttäen tietoa tai aiheita viitteenä.
    • Käytä testichat-keskusteluasi: Kerää syötteet ja vastaukset nykyisestä manuaalisesta testaussessiostasi. (Näytetään pois päältä/ei saatavilla vahvistetussa kuvakaappauksessa; tarkista, kun se tulee saataville.)
    • Tai kirjoita itse kysymyksiä: lisää kysymyksiä käsin ja halutessasi odotetut vastaukset.

  4. Tarkista testitapauslistasi. Käytä Lisää kysymyksiä lisätäksesi kysymyksiä valitsemalla joko Luo 10 kysymystä tai Kirjoita lisätäksesi yhden manuaalisesti.

Testijoukon määrittäminen

Määritä testijoukko -paneelissa:

  • Tietotyyppi: Näyttää valitsemasi tietotyypin (esim. yksittäinen vastaus).
  • Nimi: Vaadittu nimi testijoukolle.
  • Testimenetelmä: Kriteerit, joita käytetään datan tarkistamiseen. Valitse enintään viisi menetelmää. Valitse Lisää testimenetelmä avataksesi Valitse testimenetelmä -valintaikkunan, joka tarjoaa:
    • Yleinen laatu: Vastaukset täyttävät laatuvaatimukset, kuten relevanssin ja täydellisyyden. Ei vedä vertoja odotettuihin vastauksiin.
    • Vertaa merkitystä: Vastauksilla on sama merkitys kuin odotetulla vastauksella, vaikka ne muotoiltaisiin eri tavalla.
    • Mukautettu: agentin vastaukset tarkistetaan ja merkitään määritettyjen ohjeiden mukaisesti.
    • Avainsanojen vastaavuus: Etsii vastaavia sanoja ja ilmauksia.
    • Tekstin samankaltaisuus: Mittaa, kuinka hyvin agentin vastauksen teksti vastaa odotettua vastausta. Tämä menetelmä saattaa jättää merkityserot huomaamatta.
    • Tarkka vastaavuus: agentin vastausten vastattava odotettua vastausta täysin.
  • Agentin versio: Valitse, arvioitko nykyisen luonnoksen vai julkaistun agentin (esimerkiksi nykyisen luonnoksen).
  • Käyttäjäprofiili: avaa Profiilin ja yhteyksien hallinta -ikkuna valitsemalla Hallinta sekä valitse tai lisää todennettu tili. Ota käyttöön Käytä näitä asetuksia kaikissa arvioinneissani, jotta profiilia käytetään uudelleen tulevissa testisarjoissa. Suosittelemme käyttämään todennoitettua profiilia, jossa on kaikki tarvittavat yhteydet, jotta arviointi voi testata kaikki agentin kyvyt.

Tulosten tarkasteleminen

Kun olet tehnyt arvioinnin, tarkista tulokset nähdäksesi, miten agenttisi suoriutui. Arviointitulosten tarkastelu Customer Conversation -kehikkoa käyttävälle agentille on samankaltaista kuin vakiokehikkoa käyttävän agentin tulosten tarkastelu. Lisätietoja on ohjeaiheessa Arviointien suorittaminen ja tulosten tarkasteleminen.

  • Viimeksi päivitetty