Arviointivirheiden seuraaminen jäsennettyjen lokiin kirjausmallien avulla

Arviointivirheiden dokumentointi kartuttaa instituutionallista tietämystä, joka nopeuttaa jatkossa luokitteluistuntoja. Kun samanlainen virhe havaitaan uudelleen, tiedossa on jo, mitä kannattaa tarkistaa ensimmäiseksi sen sijaan, että samat perussyyt etsittäisiin uudelleen.

Virheanalyysi voidaan tallentaa luokitteluistunnoista näiden jäsennettyjen mallien avulla. Valitse tiimin tarpeita ja työnkulkua vastaava versio.

Tärkeää

Luokittele virhe ensimmäiseksi. Dokumentoi virheet vianmäärityksen yhteydessä.

Valitse tiimille sopiva malliversio:

  • Kevyt versio sopii pienille tiimeille, jotka iteroivat yhtä agenttia
  • Eritelty versio sopii suurille tiimeille tai kehitettäessä agenttien institutionaalista tietämystä

Kevyt virheloki

Kevytrakenteinen virheloki on tarkoitettu pieniä ryhmiä ja nopeita luokitteluistuntoja varten.

Kopioi tämä taulukko ja täytä se luokitteluistunnon aikana. Lisää kullekin virheelle yksi rivi.

Testitapaus Juurisyyn tyyppi Havaittu ongelma Käyttöönotettu muutos Ratkaistu
___ Arvioinnin määritys, agentin määritys tai ympäristön rajoitus ___ ___ Kyllä / ei / osittainen
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Esimerkki (täytetty)

Testitapaus Juurisyyn tyyppi Havaittu ongelma Käyttöönotettu muutos Ratkaistu
KG-003 Arviointiasetukset Odotettu vastaus vanhentunut (vanha palautuskäytäntö – 30 päivää; nykyinen käytäntö on 15 arkipäivää) Odotettu arvo päivitettiin 15 arkipäiväksi Kyllä
KG-005 Agentin määritys Agentti antoi takuutiedot, joita ei ole missään tietolähteessä Lisättiin ankkurointiohje: Vastaa vain tietolähteistä Kyllä
TI-002 Ympäristön rajoitus Noudon luokittelu ohittaa asiakirjan täsmällisen otsikon; usein kysytyt kysymykset noudetaan tuoteoppaan sijaan Asiakirjojen otsikoiden uudelleenjärjestely ratkaisuehdotuksena; eskaloitiin ympäristötiimille Osittainen
FA-019 Ympäristön rajoitus Moniselitteinen kysely ei nouda luotettavasti oikeaa lähdettä Dokumentoitu tunnettuna rajoituksena; seuranta tuotannossa Ei (tunnettu puute)

Eritelty virheloki

Eritelty virheloki on tarkoitettu tiimeille, joiden on jaettava löydökset, seurattava sprinttien tilaa tai kehitettävä institutionaalista tietämystä useissa agenteissa.

Muistiinpano

Lataa mallin CSV-versio.

Vikakohtainen tietue

Kenttä Value
Testitapauksen tunnus (arviointijoukosta, kuten KG-003)
Arviointijoukko (mihin arviointijoukkoon tietue kuuluu)
Laatusignaali (esimerkiksi faktojen oikeellisuus, tietämyksen ankkurointi, työkalun käynnistäminen)
Juurisyyn tyyppi (Arvioinnin asetukset, agentin määritys, ympäristön rajoitus, työkalun integrointi, luokittelematon)
Juurisyyn tiedot (tietty alatyyppi, kuten vanhentunut odotettu vastaus, työkalun kuvauksen moniselitteisyys)
Havaittu ongelma (mitä agentti teki ja mitä sen olisi pitänyt tehdä)
Diagnostiikkapolku (mitkä luokittelukysymykset johtivat tähän luokitteluun, kuten Vaihe 1, K1.2 – odotettu vastaus vanhentunut)
Korjaustoiminto (mitä muutettiin; riittävän tarkat tiedot toisintamista varten)
Tila (Avoin, käynnissä, ratkaistu, ei korjata)
Ei korjata – perustelu (jos ei korjata: miksi ja millainen valvonta on käytössä)
Tarkistus (uusintatulos: hyväksytty tai hylätty, päivämäärä, iteraationumero)
Luokittelupäivä ___
Luokittelija ___

Esimerkki (täytetty)

Kenttä Value
Testitapauksen tunnus KG-005
Arviointijoukko Tietämyksen ankkurointi
Laatusignaali Tietämyksen ankkurointi
Juurisyyn tyyppi Agentin määritys
Juurisyyn tiedot Virheellinen tieto, agentin luomaa sisältöä ei ole missään tietolähteessä
Havaittu ongelma Agentti väitti, että3 vuoden laajennettu takuu koskee kaikkia osia ja työtä, kun lähteessä sanotaan 2 vuoden vakiotakuu
Diagnostiikkapolku Vaihe 1 hyväksytty (arviointi kelpaa) → Vaihe 2, K2.4 (vastaus ilman lähdettä) + K2.5 (ristiriita lähteen kanssa)
Korjaustoiminto Lisättiin järjestelmäkehotteeseen: Vastaa vain tietolähteistä löytyvän tiedon perusteella. Jos tietoa ei ole saatavilla, ilmoita siitä."
Tila Ratkaistu
Ei korjata – perustelu Ei käytettävissä
Tarkistus Hyväksytty (iteraatio 2, 15.2.)
Luokittelupäivä Helmi 14
Luokittelija [nimi]

Iteraation yhteenvetoloki

Seuraa iteraatioiden pistemääriä ja muutoksia trendianalyysia varten.

Iteraatio Päivämäärä Tehty muutos Muuttunut arviointijoukko Pisteet ennen Pisteet jälkikäteen Delta Huomautuksia
1 ___ Lähtötaso (ei muutoksia) Kaikki — ___% — Ensimmäinen suoritus
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Keskittymän yhteenveto

Etsi keskittymämallit laskemalla juurisyytyypit kunkin luokitteluistunnon jälkeen.

Juurisyyn tyyppi Count % kaikista Systeeminen?
Arviointiasetukset ___ ___% (80 %+ = keskeytä agentin työ, korjaa arvioinnit ensin)
Agentin määritys ___ ___% (80 %+ yhdellä osa-alueella = arkkitehtoninen ongelma)
Ympäristön rajoitus ___ ___% (80 %+ = arvioi laajuus uudelleen, eskaloi)
Työkalu tai integraatio ___ ___% (korjaa taustatoiminto, ei agenttia)
Luokittelematon ___ ___% (seuranta; saattaa olla luokiteltavissa kun tietoja on enemmän)
Yhteensä ___ 100%

Lokin ylläpidon parhaat käytännöt

  • Päivitä reaaliaikaisesti luokittelun aikana. Älä tee eräpäivityksiä istunnon jälkeen.
  • Kirjaa negatiivisiakin tuloksia, kuten Kokeiltiin X, ei auttanut. Tämä käytäntö auttaa estämään epäonnistuneiden menetelmien uudelleenyrittämisen.
  • Tarkista ennen kutakin iteraatiota. Tarkista mallit ennen yksittäisten virheiden käsittelyä.
  • Jaa tiimille. Jaa loki tiimille, jotta kaikki näkevät aiemmat löydökset.
  • Arkistoi, älä poista. Säilytä ratkaistut merkinnät kuvioanalyysia varten. Siirrä merkinnät arkisto-osioon, jos aktiivinen loki on liian pitkä.

Seuraavat vaiheet

Epäonnistumisten dokumentoinnin jälkeen:

  • Last updated on