Taso 4: Analysoi kuviot ja paranna agenttiasi jatkuvasti

Kun olet luokitellut yksittäiset testitapausten epäonnistumiset, saatat tehdä korjauksia ja silti nähdä vain vähän tai ei lainkaan parannusta agentin kokonaissuorituskyvyssä. Tämä tulos viittaa usein systeemiseen ongelmaan, ei joukkoon toisistaan riippumattomia vikoja.

Kuvioanalyysi auttaa sinua tarkastelemaan useita epäonnistuneita testitapauksia ja tunnistamaan toistuvia signaaleja sekä yhteisiä juurisyitä. Käytä kuvioanalyysiä keskittyäksesi muutoksiin, jotka käsittelevät vikaryhmiä kerralla sen sijaan, että korjaisit jokaisen vian erikseen.

Tärkeää

Käytä tätä ohjeistusta, kun olet käynyt läpi vikojen luokittelun ja tehnyt korjausmuutokset. Kuvioanalyysi on hyödyllisintä sen jälkeen, kun olet luokitellut vähintään viisi epäonnistumista.

Milloin käyttää kuvioanalyysiä

Kuvioanalyysi on hyödyllisintä, kun havaitset yhden tai useamman seuraavista ehdoista:

  • Useita epäonnistumisia samassa arviointierässä.
  • Toistuvat epäonnistumiset samankaltaisilla oireilla.
  • Parannuksia yksittäisiin testitapauksiin, jotka eivät muuta kokonaispisteitä.
  • Parannuksia yhdellä alueella, jotka aiheuttavat heikennyksiä toisella.

Epäonnistumisten korjaaminen yksi kerrallaan on tehotonta näissä tilanteissa. Kuvioanalyysi auttaa tunnistamaan, mitä epäonnistumisilla on yhteistä, jotta voit puuttua taustalla olevaan syyhyn.

Keskittymäanalyysi

Kun olet luokitellut yksittäiset epäonnistumiset, etsi kuvioita koko joukosta.

Malli Mitä se kertoo Suositeltu toiminto
80 % tai enemmän vioista johtuu arvioinnin asetusongelmista Arviointipaketti tarvitsee kalibrointia, ei agentin muutoksia Keskeytä agentin iterointi. Auditoi ja korjaa ensin arvioinnin laatu, sitten suorita uudelleen saadaksesi puhtaan signaalin.
80 % tai enemmän epäonnistumisista johtuu agentin konfigurointiongelmista yhdellä alueella (esimerkiksi kaikki tietoon liittyviä) Systeeminen agentin konfiguraatiopuute Kohdenna korjaustoimet tähän osa-alueeseen. Tämä ongelma on usein arkkitehtoninen (esimerkiksi tietolähderakenne) – ei yksittäisten testitapausten korjauksia.
80 % tai enemmän vioista johtuu alustan rajoituksista Agentti törmää alustan rajoihin Arvioi agentin laajuus uudelleen. Eskaloi ympäristöryhmälle. Säädä kynnysarvoja tai merkitse liittyvät kohteet tunnetuiksi rajoituksiksi tarvittaessa.
Epäonnistumiset jakautuvat tasaisesti juurisyiden eri tyyppeihin Ei yksittäistä systeemistä ongelmaa Jatka korjausta tapauskohtaisesti käyttämällä korjaustoimenpiteiden kartoitusta.

Kuinka tehdä keskittymäanalyysi

  1. Laske luokitellut epäonnistumiset juurisyyn tyypin mukaan:

    • Arvioinnin määrityksen ongelmat
    • Agentin konfigurointiongelmat
    • Alustan rajoitukset
    • Luokittelematon

  2. Laske prosenttiosuudet jokaiselle tyypille.

  3. Jos minkä tahansa tyypin osuus on 80 % tai enemmän – mikä viittaa systeemiseen ongelmaan – korjaa luokka, älä yksittäisiä tapauksia.

  4. Jos agentin konfiguraatio-ongelmat keskittyvät yhteen laatusignaaliin (esimerkiksi viisi kuudesta liittyy tiedon ankkurointiin), tämä kuvio viittaa arkkitehtoniseen juurisyyhyn.

Signaalien väliset kuviot

Kun virheet ulottuvat useisiin arviointisetteihin, ne usein viittaavat yhteiseen juurisyyhyn. Etsi seuraavia kuvioita:

Malli Mitä se todennäköisesti tarkoittaa Mitä tutkia
Sekä faktatarkkuus että tiedon ankkurointi epäonnistuvat Tietolähdeongelma (väärä, puuttuva, saavuttamaton tai vanhentunut) Tiedon konfigurointi, indeksoinnin tila ja sisällön ajantasaisuus
Sekä työkalun kutsuminen että käynnistimen reititys epäonnistuvat Orkestrointikonfiguraatio-ongelma – aiheita ja työkaluja ei ole oikein yhdistetty Käy läpi, miten aiheet reititetään työkaluihin. Tarkista irralliset tai väärin konfiguroidut työnkulut.
Sävy epäonnistuu, mutta tarkkuus hyväksytään Agentti saa oikean vastauksen, mutta esittää sen huonosti Keskity kehotteen tyyliohjeisiin; tarkkuusinfrastruktuuri on kunnossa.
Turvallisuus hyväksytään, mutta tarkkuus epäonnistuu Agentti saattaa olla liian rajoitettu – liian varovainen, kieltäytyy vastaamasta silloin kun pitäisi Tarkista turvallisuusohjeet liian laajojen rajoitusten varalta, jotka estävät sallitut vastaukset.
Kaikki menee läpi paitsi rajatapaukset Ytimen toiminta on vankkaa Keskity reunojen vahvuuden laajentamiseen; tämä kuvio on hyvä merkki.
Tarkkuus paranee, mutta sävy heikkenee Ohjeiden ristiriita – uudet tarkkuusohjeet saattavat syrjäyttää sävyohjeistuksen Tarkista viimeaikaiset kehotemuutokset ja muista ottaa huomioon "ohjebudjetti".
Useat arvioinnit määrittävät kaikki heikkenemään samanaikaisesti Todennäköisesti yhteinen juurisyy, jolla on laaja vaikutus Tarkista viimeaikaiset järjestelmäkehotteiden muutokset, tietolähteiden päivitykset tai alustan mallin päivitykset.

Mitä tehdä signaalien välisille kuvioille

  1. Tunnista yhteinen juurisyy: Jos kaksi signaalia epäonnistuu samanaikaisesti, niillä on todennäköisesti yhteinen riippuvuus, kuten tietolähde, kehotteen osa tai työkalun konfiguraatio.
  2. Korjaa yhteinen riippuvuus: Älä korjaa jokaista signaalia erikseen.
  3. Suorita molemmat arviointisarjat uudelleen: Korjauksen jälkeen varmista, että molempien arviointisarjojen tulokset paranevat.
  4. Jos vain toinen paranee, signaaleilla ei ole yhteistä juurisyytä. Luokittele jäljellä olevat epäonnistumiset itsenäisesti.

Trendianalyysi eri iteraatioissa

Tarkkaile pisteiden kehitystä iterointisyklien aikana arvioidaksesi, toimiiko korjausstrategiasi.

Trendi Tulkinta Toimi
Pisteet paranevat iterointien välillä Korjaustoimenpiteet toimivat Jatka, kunnes kynnysarvot saavutetaan.
Pisteet pysyvät samoina muutoksista huolimatta Korjaustoimenpiteet eivät kohdistu todelliseen juurisyyhyn Uudelleenarviointi; juurisyyn luokittelu saattaa olla väärä.
Pisteiden heikkeneminen muutoksen jälkeen Heikennys – muutos rikkoi jotain Peruuta muutos. Tutki, mikä heikkeni ja miksi.
Yksi arviointijoukko paranee, toinen heikkenee Kompromissi – yhden ulottuvuuden korjaaminen heikentää toista Tutki kytkentää, joka usein johtuu ohjeiden ristiriidasta (katso Siirtymä 3).
Pisteet vaihtelevat suorituskertojen välillä (yli +/-10 % vaihtelua) Arvioijan epävakaus tai agentin epädeterministisyys Varmista ensin arvioijan luotettavuus (katso Arvioijan validointi). Suorita vähintään kolme kertaa jokaisessa iteraatiossa.

Trendinäkymän luominen

Kirjaa jokaisen iteraation jälkeen seuraavat tiedot:

  • Päivämäärä
  • Tehty muutos
  • Arviointijoukko
  • Pisteet ennen
  • Pisteet jälkikäteen
  • Delta

Näiden tietojen avulla voidaan:

  • Varmista, että tulokset lähestyvät kynnysarvoja.
  • Tunnista heikennykset nopeasti
  • Tunnista pisteiden tasaantuminen aikaisessa vaiheessa (Siirtymä 2)

Dokumentoi epäonnistumiset

Rakenteiset vikarekisterit luovat institutionaalista tietoa iteraatiosyklien välillä. Ilman dokumentaatiota tiimit usein toistavat saman tutkimustyön.

Miksi dokumentoida epäonnistumiset

  • Nopeuta tulevia luokitteluita: Tunnistat heti tunnetut epäonnistumiskuviot.
  • Rakenna eskalointitodisteita: Kerää tietoja alustan rajoituksista vahvempien perustelujen esittämiseksi alustatiimille.
  • Edistä tiimin oppimista: Loki auttaa estämään päällekkäiset tutkimukset, kun useampi henkilö työstää samaa agenttia.
  • Seuraa tunnettuja puutteita: Älä unohda seurata vikoja, jotka on luokiteltu "ei korjata"- tai "tunnettu rajoitus" -luokkiin.

Käytä vikalokin mallipohjaa

Käytä vikalokimallia tallentaaksesi viat kevyessä tai yksityiskohtaisessa muodossa tiimin koosta ja prosessin kypsyydestä riippuen.

Kirjattavat tiedot

Kirjaa vähintään seuraavat tiedot jokaisesta luokitellusta viasta:

  1. Mikä testitapaus epäonnistui?
  2. Mihin juurisyytyyppiin sen luokittelit.
  3. Mitä meni pieleen tarkalleen ottaen.
  4. Mitä muutit korjataksesi sen.
  5. Korjauksen toimivuus.

Kirjaa myös seuraavat tiedot ratkaisemattomista vioista:

  • Mitä olet yrittänyt tähän asti.
  • Miksi asia on edelleen ratkaisematta.
  • Milloin arvioida uudelleen (esimerkiksi "alustapäivityksen X jälkeen").

Jatkuva parantamisprosessi

Käytä tätä tarkistuslistaa jokaisen luokittelu- ja korjaussyklin jälkeen varmistaaksesi, että olet kirjannut tulokset ja seuraavat vaiheet.

Iteroinnin jälkeinen tarkistuslista

Valmis? Tehtävä
✓ Kirjaa kaikki luokitellut viat vikalokiin.
✓ Tunnista ja merkitse juurisyiden keskittymät.
✓ Tarkista signaalien väliset kuviot.
✓ Kirjaa pisteet trendien seuraamiseksi.
✓ Dokumentoi tunnetut rajoitukset ja niihin liittyvät kiertotavat.
✓ Määritä seuraavan iteraation prioriteetit jäljellä olevien vikojen perusteella.
✓ Määritä uudelleensuorituksen aikataulu (arviointijoukot, ajankohta).

Milloin lopettaa iterointi

Lopeta iterointi, kun:

  • Kaikki arviointijoukot ylittävät raja-arvot.
  • Olet kirjannut tunnetut puutteet.
  • Pisteet ovat johdonmukaisia (< 5 % poikkeama).
  • Ei avoimia agentin konfiguraatio-ongelmia signaalien estämisessä.

Älä lopeta iterointia seuraavissa tapauksissa:

  • Toistuvien epäonnistumisten selvittäminen jäi tekemättä.
  • Poistit vaikeita testitapauksia saavuttaaksesi kynnysarvot.
  • Et dokumentoinut alustan rajoituksia.

Lue lisää: Määritä, milloin iterointi on valmis.

Seuraavat vaiheet

  • Last updated on