Taso 2: agenttivikojen käsittely ja priorisointi

Kun olet tulkinnut arviointipisteet ja tunnistanut painopistealueet, selvitä, miksi yksittäiset testitapaukset epäonnistuivat ja kenen tulee toimia.

Tämä artikkeli tarjoaa jäsenneltyjä ohjeita epäonnistumisten diagnosointiin testitapaustasolla. Tämä auttaa luokittelemaan juurisyyn, erottamaan agentti-, arviointi- ja infrastruktuuriongelmat sekä valitsemaan oikean seuraavan toimenpiteen.

Alkutoimet

Ennen kuin aloitat vikojen luokittelun:

  1. Suorita pisteiden tulkinta ja valmiusarviointi ja tunnista, mitkä arviointijoukot vaativat huomiota.
  2. Keskity korkeimman prioriteetin vikoihin valmiuden ja riskin perusteella.

Tärkeää

Jos ohitat tämän vaiheen, saatat käyttää aikaa vähäisiin tai ei-estäviin ongelmiin.

Ennakkotarkastus: Varmista infrastruktuurin toimivuus

Ennen yksittäisten vikojen diagnosointia varmista, että riippuvuudet olivat toimintakuntoisia arviointikierroksen aikana. Infrastruktuuriongelmat voivat aiheuttaa vikoja, jotka näyttävät agentti- tai arviointiongelmilta, mutta eivät liity kumpaankaan.

Tarkista seuraavat ehdot:

  • Tietolähteet ovat käytettävissä ja täysin indeksoituja.
  • Ohjelmointirajapintataustajärjestelmät tai liittimet eivät palauta virheitä, aikakatkaisuja tai nopeusrajoitusvastauksia.
  • Autentikointitunnisteet ovat voimassa koko arvioinnin ajan.
  • Arviointiympäristö on yhtenevä suunnitellun agentin kokoonpanon kanssa.

Jos jokin riippuvuus on epäkunnossa, korjaa ongelma ja suorita arviointi uudelleen ennen jatkamista. Epäkuntoisen suorituksen tulosten arviointi voi johtaa virheellisiin johtopäätöksiin.

Vaihe 0: Priorisoi epäonnistumiset

Ennen kuin arvioit yksittäisiä testitapauksia, päätä mihin keskityt ensin.

Priorisoi epäonnistumiset tässä järjestyksessä:

Prioriteetti Luokittele ensin Perustelut
1 Turvallisuuden ja vaatimustenmukaisuuden virheet Vaikuttavin seuraus. Ratkaise nämä viat ennen käyttöönottoa.
2 Ydinliiketoiminnan skenaarioiden epäonnistumiset Suora vaikutus agentin arvolupaukseen.
3 Epäonnistumiset pistemäärältään matalimmassa arviointisarjassa Todennäköisesti systeeminen. Juurisyyn korjaaminen saattaa ratkaista useita vikoja.
4 Toistuvat epäonnistumiset useilla ajoilla Toistuvat epäonnistumiset on helpompi diagnosoida.
5 Ominaisuusskenaarioiden epäonnistumiset Tärkeä, mutta yleensä vähemmän merkittävä.

Jos epäonnistumisia on paljon (esimerkiksi yli 15), älä arvioi jokaista epäonnistumista erikseen. Aloita matalimman pistemäärän arviointisetistä ja käy läpi manuaalisesti muutama epäonnistunut tapaus. Jos niillä on yhteinen juurisyy, sen korjaaminen voi ratkaista monia vikoja kerralla.

Tunnista laatusignaali epäonnistuneesta testistä

Jos arviointituloksessa testitapaus epäonnistuu eikä laatusignaali käy selkeästi ilmi, päättele signaali arviointisetin ja arviointimenetelmän avulla.

Esimerkki:

  • Arviointisetti osoittaa osaamisalueen, kuten turvallisuuden, tiedollisen pohjan tai työkalun käytön.
  • Arviointimenetelmä, kuten avainsanojen vastaavuus tai arviointikriteeripohjainen pisteytys, tarjoaa lisätietoa.

Tarkoitetun laatusignaalin tunnistaminen auttaa valitsemaan olennaisimmat diagnostiset kysymykset.

Vaihe 1: Tarkista arviointiasetukset

Tärkeää

Aloita aina tästä. Ennen agentin tutkimista varmista, että arviointiasetukset ovat kunnossa.

Jokaisen epäonnistumisen kohdalla tarkista manuaalisesti agentin todellinen vastaus, odotettu vastaus ja arviointimenetelmä yhteydessä toisiinsa.

Käy seuraavat kysymykset läpi oikeassa järjestyksessä. Pysähdy, kun saavutat lopputuloksen.

  1. Onko agentin vastaus hyväksyttävä? Olisiko käyttäjä tyytyväinen tähän vastaukseen, vaikka vastaus epäonnistui arvioinnissa?

    • Jos Kyllä, arviointijärjestelmässä on ongelma: arvioija tai odotettu vastaus on väärä.
    • Jos ei, jatka seuraavaan kysymykseen.

  2. Onko odotettu vastaus ajantasainen ja tarkka lähteeseen nähden?

    • Jos Kyllä, jatka seuraavaan kysymykseen.
    • Jos Ei, arviointijärjestelmässä on ongelma: odotettu vastaus on vanhentunut tai väärin.

  3. Heijastaako testitapaus realistista käyttäjän antamaa syötettä?

    • Jos Kyllä, jatka seuraavaan kysymykseen.
    • Jos Ei, arviointiasetelmassa on ongelma: testitapaus ei vastaa todellista käyttäjän syötettä.

  4. Voisiko järkevä vaihtoehtoinen vastaus olla myös oikea, mutta arvioija ei salli sitä?

    • Jos Kyllä, arviointiasetelmassa on ongelma: arvioija on liian jäykkä eikä huomioi päteviä vaihtoehtoisia vastauksia.
    • Jos ei, jatka seuraavaan kysymykseen.

  5. Onko arviointimenetelmä asianmukainen siihen, mitä testaat?

    • Jos Kyllä, arviointi on kelvollinen. Siirry Vaiheeseen 2: Diagnosoi agentti.
    • Jos Ei, arviointiasetelmassa on ongelma: arviointimenetelmä ei sovellu tähän laatusignaaliin.

Vastauksen hyväksyttävyyden määrittäminen

Käytä seuraavia signaaleja määrittääksesi, onko agentin vastaus hyväksyttävä:

  • Samat tärkeät tiedot kerrottuna eri tavalla → usein hyväksyttävä (luokittelija voi olla liian tiukka).
  • Jos lähteestä löytyvä kriittinen tieto puuttuu, tämä ei yleensä ole hyväksyttävää.
  • Epäselvä "riittävän hyvä" -kynnys → hyväksymiskriteerit voivat olla epäselviä (merkitään vaiheelle 4).

Jos olet epävarma, vertaa sisältöä alkuperäiseen lähteeseen eikä pelkästään odotettuun vastaukseen.

Nämä signaalit ohjaavat harkintaasi, mutta eivät korvaa sitä.

Yleiset arviointiasetusten vikatyypit

Virheen tyyppi Description Esimerkki
Vanhentunut odotettu vastaus Lähdesisältö muuttui, mutta odotusarvoa ei päivitetty Käytäntö päivitettiin 15 päivään, mutta arviointi odottaa edelleen "30 päivän palautusaikaa".
Liian tiukka arvostelija Avainsanatäsmäys epäonnistuu hyväksyttävälle synonyymille tai uudelleenmuotoilulle Odotettu vastaus: "kylmä vesi." agentin vastaus: "viileä vesi, 30 °C", mikä on semanttisesti oikein.
Epärealistinen testitapaus Testiskenaario ei vastaa todellista käyttäjien käyttäytymistä Testataan neljän kappaleen pituista kyselyä, kun todelliset käyttäjät kirjoittavat vain 5–10 sanaa.
Väärä arviointimenetelmä Arviointimenetelmä ei vastaa sitä, mitä oikeasti testataan. Avainsanavastaavuuden käyttö (Kaikki) synteesiä vaativassa kysymyksessä, jossa merkityksen vertailu on asianmukaista.
Arvioijan faktuaalinen virhe Kielimalli arvioijana keksii virhesyyn, joka ei ole todellinen (yksittäinen virhe) Kielimallin arvioija sanoo, että "vastaus ei mainitse palautuskäytäntöä", vaikka se selvästi mainitaan.
Arvioijan systemaattinen harha Kielimalli arvioijana soveltaa epäjohdonmukaisia kriteerejä eri testitapauksissa (kalibrointiongelma) Arvioija hyväksyy lyhyet vastaukset, mutta hylkää pidemmät saman laatusignaalin perusteella, sisällöstä riippumatta.
Epäselvät hyväksymiskriteerit Odotettu arvo voidaan ymmärtää monin eri tavoin "Pitäisi sisältää hinnoittelutiedot." Kuukausittaiset hinnat? Vuosittainen? Käyttäjäkohtainen?

Arvioijan validointi

Arvioijan luotettavuus on luotettavan luokittelun edellytys. Jos luokittelija itse on epäluotettava, kaikki sen luokittelemat virheet määritetään väärin.

Arvioijan luotettavuuden varmistamiseksi:

  1. Valitse 5–10 testitapausta, joissa tiedät oikean läpäisy/hylätyn tuloksen manuaalisen tarkastelun perusteella.
  2. Suorita arviointi ja vertaa arvioijan tulosta manuaaliseen arvioon.
  3. Jos arvioijan tulos poikkeaa manuaalisesta arviosta yli 20 % tapauksista, kalibroi arvioija uudelleen ennen agentin virheenkorjaamista.

Merkkejä siitä, että arvioija tarvitsee huomiota:

  • Sama testitapaus tuottaa erilaisia tuloksia eri arviointikerroilla.
  • Epäonnistumiset ryhmittyvät arviointisetteihin, joissa käytetään mallipohjaista arviointia, kun taas deterministiset menetelmät läpäisevät.
  • Arvioija ilmoittaa ongelmista, joita et voi itse havaita tarkistaessasi agentin vastauksen.

Arvioijan uudelleenkalibrointivaihtoehdot:

  • Käytä deterministisiä menetelmiä mahdollisuuksien mukaan.
  • Lisää täsmällisiä "hyväksyttäviä" ja "ei-hyväksyttäviä" esimerkkejä arvostelumatriisiin.
  • Laajenna avainsanavalikoimaa kattamaan synonyymit ja kelvolliset uudelleenmuotoilut.
  • Käytä Merkityksen vertailu -menetelmää sen sijaan, että käyttäisit avainsanavastaavuus (Kaikki) -menetelmää semanttisen vastaavuuden tarkistuksissa.

Vaihe 2: Diagnosoi agentti

Tässä vaiheessa arviointi on pätevä ja agentti antoi virheellisen vastauksen. Diagnosoi, mikä meni pieleen agentin konfiguraatiossa.

Vinkki

Jotkut diagnostiset kysymykset vaativat näkyvyyttä siihen, mitä agentti teki sisäisesti (esimerkiksi, mikä tietolähde haettiin, mikä työkalu kutsuttiin tai mikä aihe laukaistiin). Käytä jäljityslokeja, keskustelutranskriptioita tai testianalytiikkaa, jos ne ovat saatavilla. Jos alustasi ei paljasta näitä yksityiskohtia, päättele niiden alkuperä vastauksesta (esimerkiksi sisältö, joka löytyy vain Lähde A:sta, on todennäköisesti peräisin Lähde A:sta).

Tarkista faktatarkkuus ja tiedon perusteluvirheet

Kysymys Jos kyllä → juurisyy
Noutiko agentti väärästä tietolähteestä? Tietolähteen määritys Väärä lähde indeksoitu tai priorisoitu.
Löysikö agentti oikean lähteen, mutta poimi siitä väärää tietoa? Kehotteen tai ohjeen puute. Malli tarvitsee ohjausta tiedon poimintaan.
Onko lähteen sisältö itsessään virheellinen tai vanhentunut? Tietolähteen sisältö. Päivitä lähdedokumentti.
Vastasiko agentti käyttämättä mitään tietolähdettä (keksikö vastauksen)? Lähteen saavutettavuus. Lähdettä ei ole indeksoitu tai kyselyn sanamuoto ei vastaa lähteen sanastoa.
Onko agentin ja lähteen tiedoissa ristiriita? Virheellisiä tietoja. Lisää selkeä ankkurointiohje.

Tarkista työkalukutsujen epäonnistumiset

Kysymys Jos kyllä → juurisyy
Käynnistettiinkö väärä työkalu? Työkalun kuvauksen epäselvyys. Kuvaukset ovat päällekkäisiä työkalujen välillä.
Käynnistyikö oikea työkalu väärillä parametreilla? Parametrimääritys. Skeema tai kuvaus on epäselvä.
Eikö työkalu käynnistynyt lainkaan? Käynnistysehto. Syöte ei täytä kutsukriteerejä.
Käynnistyikö työkalu turhaan? Negatiivinen turvarakenne puuttuu. Ei ohjetta siitä, milloin työkalua ei tule kutsua.
Toimiko työkalu oikein, mutta vastaus käytti tulosta väärin? Vastausohjeet. Agentti tarvitsee ohjausta työkalun tulosten muotoilussa.
Käynnistyikö työkalu oikein, mutta itse työkalu epäonnistui (virhe, aikakatkaisu, virheelliset tiedot)? Työkalu- tai integraatio-ongelma; vika on taustajärjestelmässä, ei agentissa. Korjaa työkalu, älä agenttia.

Tarkista käynnistimen reititysvirheet

Kysymys Jos kyllä → juurisyy
Käynnistettiinkö väärä aihe? Aiheiden laukaisijoiden päällekkäisyys. Laukaisijat ovat epäselviä aiheiden välillä.
Aiheen käynnistystä ei tehty (vara-aihe käytössä)? Aihekattavuuden puute. Mikään aihe ei käsittele tämän tyyppistä syötettä.
Vastasivatko useat aiheet väärää täsmennystä? Täsmennyslogiikka. Prioriteetti- tai täsmennystyönkulku on väärin konfiguroitu.

Tarkista sävyn ja vastauksen laadun virheet

Kysymys Jos kyllä → juurisyy
Onko agentin sävy ristiriidassa järjestelmän kehotteen ohjeistuksen kanssa? Sävyohjeistuksen puute. Ratkaise puuttuvat tai ristiriitaiset ohjeet.
Onko vastaus liian pitkä tai liian lyhyt suhteessa kysymykseen? Muotoiluohjeet. Lisää pituus- tai rakenneohjeistus.
Puuttuuko agentilta empatiaa arkaluontoisissa tilanteissa? Empatia-ohjeistuksen puute. Lisää selkeät ohjeet tunneperäisten syötteiden käsittelyyn.
Onko vastaus rakenteellisesti heikko (paljon leipätekstiä, ei vaiheita)? Muotoiluohjeet. Lisää muotoiluvaatimukset.

Tarkista turvallisuus- ja rajaongelmat

Kysymys Jos kyllä → juurisyy
Paljastiko agentti järjestelmätietoja? Järjestelmäkehotteen suojaus. Lisää "älä paljasta" -ohjeet.
Ylittikö agentti toiminta-alueensa rajat? Laajuuden määrittelypuute. Määrittele rajat selkeämmin.
Noudattiko agentti kehoteinjektio-ohjeistusta? Turvallisuusohjeet. Lisää vastakkainasettelun ehkäisyn ohjeistus.
Käsittelikö agentti henkilötietoja väärin? Henkilötietojen käsittelysäännöt. Lisää tietosuojaohjeet.

Eskaloinnin ja hallitun epäonnistumisen tarkistaminen

Kysymys Jos kyllä → juurisyy
Epäonnistuiko agentti eskaloimaan tilanteen silloin kun olisi pitänyt? Eskalaatiokäynnistin. Kriteerit puuttuvat tai ne ovat liian rajatut.
Onko agentti eskaloinut ennenaikaisesti? Eskalaatiokynnys. Kriteerit ovat liian herkkiä.
Menettikö eskalaatio keskustelun kontekstin? Siirron konfiguraatio. Kontekstin säilyttämistä ei ole määritetty.
Jäikö agentti toistamaan toimintoa sen sijaan, että olisi tiedostanut virheen? Varatoiminnan logiikka. Uudelleenyrityksen rajoitusta tai varatoimintoa ei ole määritetty.

Diagnoosin jälkeen kohdista vikamallit korjausstrategioihin juurisyyn perusteella.

Vaihe 3: Tunnista alustan rajoitukset

Jos arviointi on pätevä eivätkä kohtuulliset konfiguraation muutokset paranna tuloksia, syynä saattaa olla alustan rajoitus.

Alustan rajoitusten indikaattorit

Ilmaisin Mitä se vihjaa
Sama vika toistuu eri kehotteilla ja konfiguraatiomuunnelmilla Ei määritysongelma
Haku palauttaa johdonmukaisesti vääriä dokumentteja, vaikka lähdekonfiguraatio on oikein. Noudon pisteytysrajoitus
Agentti ei suoriudu tarvittavasta päättelystä selkeistä ohjeista huolimatta Mallin kyvykkyyden raja
Mikään konfiguraatiovaihtoehto ei tue vaadittua orkestrointimallia Orkestrointilogiikan rajoite
Mallipohjainen arvioija luokittelee johdonmukaisesti väärin arvostelumatriisin hienosäädöstä huolimatta Arvioijamallin rajoitus

Toimintapolku alustan rajoituksille

  1. Dokumentoi rajoitus selkeästi (mikä epäonnistuu, mitä yritit ja todisteet siitä, ettei se liity konfiguraatioon).
  2. Sovella kiertotapaa, kun mahdollista (esimerkiksi uudelleenjärjestä lähdedokumentti haun parantamiseksi).
  3. Merkitse testitapaus tunnetuksi rajoitukseksi tai säädä kynnysarvoja niin, ettei se haittaa muiden osa-alueiden edistymistä.
  4. Eskaloi tapaus alustatiimille ja liitä mukaan tarvittavat todisteet.
  5. Merkitse kohde vikapäiväkirjaan uudelleenarviointia varten, kun alustan ominaisuudet päivittyvät.

Luokittelun jälkeen käy läpi kiertotavat ja eskalointiohjeet alustan rajoituksiin vastaamiseksi.

Kun virhe ei sovi viitekehykseen

Jotkut epäonnistumiset eivät sovi selkeästi mihinkään juurisyyn tyyppiin. Tavallisia esimerkkejä ovat mm. seuraavat:

  • Taustajärjestelmän datan laatuongelmat: Tietolähteen sisältö on teknisesti oikein, mutta epäselvästi kirjoitettu, jolloin ei agentti eikä arviointi ole väärässä.
  • Ajoittaiset infrastruktuuriongelmat: Verkon aikakatkaisut, ohjelmointirajapintanopeuden rajoitukset ja liittimien ongelmat, jotka eivät toistu johdonmukaisesti.
  • Malliversion muutokset: Agentin käyttäytyminen muuttui alustan mallipäivityksen jälkeen, jota et itse käynnistänyt.
  • Monitulkintaiset testitapaukset: Tilanne on tulkinnanvarainen, ja asiantuntijat voivat olla eri mieltä oikeasta vastauksesta.

Ehdotettu toimintatapa: Dokumentoi tarkasti havaitsemasi epäonnistuminen, agentin vastaus ja suorittamasi tarkistukset. Kirjaa kohde "luokittelemattomaksi" vikapäiväkirjaan. Jos epäonnistuminen toistuu, se voidaan usein luokitella lisätodisteiden myötä.

Monisyisten syiden käsittely

Yhdellä virheellä voi olla useita vaikuttavia juurisyitä. Esimerkki:

  • Tosiasiallinen tarkkuusvirhe, jossa odotettu vastaus on hieman vanhentunut (arvioinnin asetukset) ja tietolähde on myös puutteellinen (agentin konfiguraatio).
  • Työkalun kutsuvirhe, jossa työkalun kuvaus on epäselvä (agentin konfiguraatio) ja orkestrointi ei tue ehdollisia työkalukutsuja (alustan rajoitus).

Ehdotettu toimintatapa: Tee kattava luokittelu jokaisen vian osalta. Jos juurisyytyyppejä on useita, käsittele ne prioriteettijärjestyksessä:

  1. Korjaa arviointi ensin, jotta saat selkeän tiedon siitä, auttaako agentin muutos oikeasti.
  2. Korjaa agentin konfiguraatio selvittääksesi, onko jäljellä oleva vika todella alustan ongelma.
  3. Dokumentoi alustan rajoitus vasta sen jälkeen, kun kohdat 1 ja 2 on käsitelty.

Suorita uudelleen kaikki kyseiset testitapaukset jokaisen muutoksen jälkeen ennen jatkamista.

Monivuoroisten keskusteluvirheiden käsittely

Monivuoroisissa skenaarioissa epäonnistumisia ilmenee vain vuorojen välillä.

Milloin epäillä monivuoroisuuden ongelmaa

  • Agentti vastaa oikein ensimmäisissä vuoroissa, mutta myöhemmin antaa ristiriitaisia vastauksia.
  • Agentti menettää kontekstin aiemmasta työkalukutsusta tai tiedonhausta myöhemmässä vuorossa.
  • Eskalointiajoitus on mielekästä vain, kun ottaa huomioon koko keskusteluhistorian.
  • Agentin sävy heikentyy asteittain keskustelun edetessä.
  • Agentti pyytää tietoja, jotka käyttäjä on jo aiemmin antanut.

Vinkki

Vika voi näkyä myöhemmässä vuorossa, vaikka juurisyy löytyy jo aiemmasta vuorosta. Seuraa taaksepäin tunnistaaksesi ensimmäisen vuoron, jossa keskustelu haarautui.

Diagnostisia lisäkysymyksiä

Kysymys Jos kyllä → juurisyy
Johtuiko epäonnistuminen siitä, että aiemman vuoron tiedot olivat kadonneet? Kontekstinhallintaongelma; keskustelutila ei säily keskusteluvuorojen välillä.
Oliko agentin vastaus ristiriidassa aiemmin sanotun kanssa? Johdonmukaisuuden ohjausvaje; ei ohjeistusta ylläpitää johdonmukaisuutta keskusteluvuorojen välillä.
Pyysikö agentti uudelleen käyttäjän jo aiemmin antamia tietoja? Kontekstin hakuongelma; agentti ei viittaa aiempiin keskusteluvuoroihin.
Ilmenikö vika vasta monen vuoron (5+) jälkeen? Tehokkaan kontekstin pituus on ylitetty.

Korjausohjeet monivuorojen ongelmiin

  • Kontekstin menetys: Tarkista keskustelun tilan konfiguraatio. Varmista, että työkalujen tulokset ja keskeiset faktat säilyvät keskusteluvuorojen välillä.
  • Ristiriidat: Lisää johdonmukaisuusohje, kuten: "Säilytä johdonmukaisuus tämän keskustelun aiempien vastausten kanssa."
  • Uudelleenkysyminen: Tarkista alustan keskustelumuistin konfiguraatio.
  • Pitkän keskustelun heikkeneminen: Harkitse keskustelun tiivistämistä tai kontekstin karsimista.

Läpäisseiden testitapausten validointi (väärä positiivinen tarkistus)

Tämä kehys keskittyy epäonnistuneisiin testitapauksiin. Kuitenkin virheellisesti läpäissyt testitapaus voi aiheuttaa näkymättömiä laatuongelmia.

Suositeltu käytäntö: Käy manuaalisesti läpi 5–10 % hyväksytyistä testitapauksista jokaisella arviointikierroksella, erityisesti seuraavissa tapauksissa:

  • Mallipohjainen arviointi (korkeampi väärien positiivisten riski)
  • Subjektiiviset signaalit (sävy, avuliaisuus)
  • Testit, jotka aiemmin epäonnistuivat mutta nyt läpäisevät tehtyjen muutosten jälkeen

Jos löydät virheellisiä positiivisia tuloksia, kalibroi arvioija uudelleen.

Seuraavat vaiheet

Epäonnistumisen luokittelun valmistumisen jälkeen:

  • Last updated on