Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Kun olet suorittanut arvioinnit agentilla, käytettävissä on yleensä tulokset, mutta ei välitöntä vastausta tärkeimpään kysymykseen: Onko agentti valmis otettavaksi käyttöön?
Tämä kerros keskittyy arviointipisteiden tulkintaan ja valmiuden arviointiin ennen yksittäisten testitapausten epäonnistumisten tutkimista. Käytä pisteitä päätöksen signaaleina, jotta voit määrittää, voiko agentin ottaa käyttöön, tuleeko iterointia jatkaa onko käyttöönotto estettävä. Tämä vaihe auttaa myös tunnistamaan, missä tarvitaan syvällisempää analyysiä.
Pisteiden tulkinnan tarkoitus
Tämä kerros auttaa vastaamaan korkean tason valmiuskysymyksiin, kuten:
- Onko agentti valmis käyttöönottoa varten?
- Jos ei ole, mitkä alueet vaativat huomiota ensimmäiseksi?
- Löytyykö joitakin estäviä ongelmia, jotka on ratkaistava ennen lisäiterointia?
Tämä vaihe on tarkoituksella kevyt. Useimmissa tapauksissa voit suorittaa sen 10–15 minuutissa käyttäen jo olemassa olevia arviointituloksia.
Alkutoimet
Ennen tämän kerroksen aloittamista on varmistettava, että käytettävissä on:
- Yksittäisten testitapausten hyväksymis- ja hylkäystulokset.
- Kootut pisteet vähintään yhdelle arviointijoukolle (esimerkiksi suojaus, perustiedot, liiketoiminnan oikeellisuus tai työkalun käyttö).
Jos arviointituloksia ei vielä ole saatavilla, suorita ensin arviointijoukot ja palaa tähän vaiheeseen, kun pisteet ovat saatavilla.
Pisteiden tulkinta arviointijoukkojen tasolla
Aloita tarkastelemalla arviointijoukkojen pisteitä yksittäisten testitapausten sijaan.
Arviointijoukot edustavat erilaisia riski- ja ominaisuusalueita, kuten suojaus, liiketoiminnan ydintoiminta, perustiedot ja työkalujen käyttöönotto. Tämän kerroksen pisteiden tulkinta auttaa määrittämään, ovatko epäonnistumiset yksittäisiä vai järjestelmällisiä.
Ota huomioon seuraavat kysymykset:
- Ovatko jotkin suojaus- tai vaatimustenmukaisuuspisteet jääneet hyväksyttävien rajojen alle?
- Täyttävätkö liiketoiminnan perusarviointijoukot vähimmäisodotukset?
- Mikä arviointijoukko on heikoin suhteessa sen tärkeyteen?
Tässä vaiheessa keskitytään signaaliin, ei juurisyihin.
Tulkitse läpäisyprosentteja kahdella tasolla seuraavasti:
- Arviointijoukon mukaan: Mitä tämä prosenttiosuus tarkoittaa testattavalle ominaisuudelle?
- Laatusignaalin mukaan: Mitä tämä prosenttiosuus kertoo kaikissa arviointijoukoissa, jotka testaavat samaa signaalia?
Alhainen läpäisyprosentti ei automaattisesti tarkoita sitä, että agentissa olisi virhe. Se tarkoittaa sitä, että tilanteen selvittäminen on tarpeen. Ongelma voi olla agentissa, arviointijärjestelmässä tai ympäristössä.
Rajojen määrittäminen riskin perusteella
Älä käytä samoja raja-arvoja kaikissa agenteissa. Määritä raja-arvot agentin riskiprofiilin perusteella. Voit käyttää alla olevia tekijöitä.
| Kerroin | Esitettäviä kysymyksiä | Vaikutus raja-arvoon |
|---|---|---|
| Epäonnistumisen seuraukset | Mitä tapahtuu, jos agentti tekee tämän väärin? Aiheuttaa hankaluuksia? Taloudellinen menetys? Turvallisuusriski? | Vakavampi seuraus → korkeampi raja-arvo |
| Käyttötiheys | Kuinka usein käyttäjät käynnistävät tämän laatusignaalin? | Korkeampi käyttötiheys → korkeampi raja-arvo (enemmän altistusta) |
| Varatoiminnon saatavuus | Jos agentti epäonnistuu, voiko ihminen tulla apuun? Miten nopeasti? | Ei varatoimintoa → korkeampi raja-arvo |
| Kohderyhmä | Sisäiset työntekijät? Ulkoiset asiakkaat? Säännelty toimiala? | Ulkoinen tai säännelty → korkeampi raja-arvo |
Esimerkkejä riskiperusteisista raja-arvoista
Tämä taulukko sisältää esimerkkialoituskohtia, ei yleisiä standardeja.
| Riskiprofiili | Description | Turvallisuus ja vaatimustenmukaisuus | Ydinliiketoiminta | Ominaisuudet |
|---|---|---|---|---|
| Vähäriskinen sisäinen työkalu | Vain sisäiseen käyttöön, kaikki tulokset arvioidaan ihmisen toimesta, matalan riskin toimialue | Yli 90 % | Yli 75 % | Yli 65 % |
| Keskiriskinen asiakkaille tarkoitettu agentti | Ulkoiset käyttäjät, jonkin verran automaatiota, korjattavissa olevia virheitä | Yli 95 % | Yli 85 % | Yli 75 % |
| Korkean riskin säännelty agentti tai taloushallinnon agentti | Ulkoiset käyttäjät, merkittävät päätökset, säännöstenmukaisuuden altistuminen | Yli 98 % | Yli 92 % | Yli 85 % |
| Turvallisuuskriittinen agentti | Terveydellinen, oikeudellinen tai taloudellinen neuvonta, jossa on rajallisesti ihmisen valvontaa | Yli 99 % | Yli 95 % | Yli 90 % |
Käytä näitä esimerkkejä ankkureina ja säädä niitä omien riskinäkökohtiesi mukaan.
Esimerkki raja-arvon kalibroinnista
Seuraava esimerkki osoittaa yhden mahdollisen kalibroinnin keskinkertaisen riskin omaavalle asiakkaille tarkoitetulle tukiagentille.
| Laatusignaali | Aloituksen raja-arvo | Estämisen raja-arvo | Perustelut |
|---|---|---|---|
| Turvallisuus ja henkilötiedot | 95–100 % | < 95 % estää lähetyksen | Mikä tahansa turvallisuusvirhe on erittäin riskialtis |
| Vaatimustenmukaisuus ja sanasta sanaan sisältö | 95–100 % | < 95 % estää lähetyksen | Sääntelyriski tai oikeudellinen riski |
| Paikkansapitävyys (ydinliiketoiminta) | 85–95 % | < 80 % estää lähetyksen | Ydinarvon ehdotus |
| Tietojen ankkurointi | 85–95 % | < 80 % estää lähetyksen | Tarkkuuden perusta |
| Työkalun kutsuminen | 90–95 % | < 85 % estää lähetyksen | Tehtävien suoritusvarmuus |
| Käynnistinreititys | 85–95 % | < 80 % estää lähetyksen | Keskustelutyönkulun oikeellisuus |
| Eskalaatio ja hallittu toiminto | 90–95 % | < 85 % estää lähetyksen | Käyttäjäkokemuksen turvaverkko |
| Sävy ja vastausten laatu | 80–90 % | < 75 % estää lähetyksen | Subjektiivinen signaali |
Vinkki
Kalibroi, älä kopioi. Raja-arvojen tulee heijastaa hyväksyttävää riskiä tietyn käyttötapauksen mukaan.
Valmiustilan määrittäminen
Käytä arviointijoukon pisteitä määrittääksesi kokonaisvalmiuden tilan. Yleisiä valmiustiloja ovat:
- Estetty: Turvallisuus- ja vaatimustenmukaisuusvirheet sekä kriittiset liiketoimintavirheet estävät käyttöönoton.
- Iterointi: Agentti näyttää lupaavalta, mutta tarvitsee kohdennettuja parannuksia.
- Ehdollinen käyttöönotto: Agentti voidaan ottaa käyttöön dokumentoitujen ja valvottujen rajoitusten kanssa.
- Ota käyttöön: Agentti täyttää kaikki vaaditut arviointijoukkojen raja-arvot.
Valmiuspäätösten tulee perustua riskitoleranssiin ja käyttökontekstiin, ei yhteen yleiseen tulokseen.
Vinkki
Ehdollinen käyttöönotto, jossa on tunnettuja puutteita, on hyväksyttävä tulos. Dokumentoi hyväksytyt rajoitukset ja seuraa niitä ajan mittaan käyttämällä virhelokimallia.
Iteroinnin valmistumisen määrittäminen
Käytä seuraavia ehtoja määrittääksesi, milloin voit siirtyä luokittelusta käyttöönottoon tai seurantaan.
Iterointi on valmis, kun
- kaikki arviointijoukot ylittävät raja-arvonsa, mukaan lukien muokatut raja-arvot
- tunnetut puutteet on dokumentoitu omistajineen ja aikatauluineen
- uusintasuoritukset tuottavat johdonmukaiset tulokset, joissa eri suoritusten välinen vaihtelu on alle 5 %
- yhtään estävää ongelmaa ei ole enää luokiteltu agentin määritysongelmaksi.
Iterointi ei ole valmis, kun
- raja-arvot täyttyvät, mutta jäljellä olevien virheiden syytä ei tiedetä
- pisteet paranevat vain siksi, että vaikeat testitapaukset poistettiin
- ympäristön rajoitukset hyväksytään epäsuorasti ilman dokumentaatiota.
Epädeterminististen pisteiden käsittely
Kielimalliin perustuvat agentit ja arvioijat tuottavat vaihtelevia tuloksia. Käytä seuraavia rajoituksia:
- Määritä perustasot: Suorita koko arviointijoukko vähintään kolme kertaa, ennen kuin perustasopisteet määritetään. Käytä keskiarvoa työskentelypisteinä. Alle kolmella suorituksella ei voi erottaa todellista signaalia turhasta tiedosta.
- Pisteiden vaihtelu suoritusten välillä: Kielimallien arvioijille on normaalia, että pisteet vaihtelevat jopa 5 % suoritusten välillä. Jos tulokset eroavat yli 10 %, tutki arvostelijan luotettavuus ennen kuin alat diagnosoida agentin ongelmia. Lisätietoja arvostelijan validoinnista.
- Tulkitse pistemäärän muutoksia korjausten jälkeen: Arviointijoukoissa, joissa on alle 30 testitapausta, yksittäisen testitapauksen siirtyminen epäonnistumisesta onnistumiseen muuttaa pistemäärää vähintään 3 %:n verran. Älä tulkitse liikaa pieniä muutoksia. Arviointijoukoissa, joissa on vähintään 50 testitapausta, 5 %:n muutos tai sitä suurempi muutos on merkityksellinen. Jos olet epävarma, suorita arviointi kolmesti ja vertaa keskiarvoa perustason keskiarvoon.
- Tunnista epävakaat testitapaukset (joskus hyväksytään, joskus hylätään): Testitapaus, joka läpäisee kaksi kolmesta suorituksesta, on rajatapaus. Tutki tällaisia lisää. Onko odotettu tulos liian joustamaton (arviointiasetus) vai onko agentti aidosti epäjohdonmukainen (agentin määritys)? Jos agentti tuottaa kaksi erilaista vastausta, jotka ovat molemmat hyväksyttäviä, arviointi on liian joustamatonta.
Seuraavat vaiheet
Kun tulkitset pisteesi ja tunnistat, mihin keskittyä, voit valita jonkin seuraavista:
- Käytä Kerros 2: Luokittelun epäonnistumiset epäonnistuneiden testitapausten diagnosointiin.
- Käytä kohdennettuja korjauksia hyödyntämällä kerrosta 3: epäonnistumismallien yhdistäminen korjausstrategioihin.
- Käytä tasoa 4: Analysoi kuvioita tunnistaaksesi systeemisiä ongelmia.
- Käy läpi käytännön esimerkkejä, jotka osoittavat, miten kehyksen tasot toimivat yhdessä todellisissa tilanteissa.
Jos yli 10 testitapausta epäonnistuu, analysoi malleja ennen yksittäisten epäonnistumisten luokittelua.