Agenttien analysointi Copilot Agent Kitin agenttien arvostelutyökalulla

Agenttien arvostelutyökalu on automatisoitu laadunarviointi- ja vaatimustenmukaisuuden arviointijärjestelmä Microsoft Copilot Studio -agenteille ja deklaratiivisille Microsoft 365 -agenteille. Se auttaa tekijöitä, ylläpitäjiä ja hallintotiimejä tunnistamaan ongelmat, kaavat ja vaatimustenmukaisuuden puutteet ennen kuin ne saavuttavat loppukäyttäjät.

Kun organisaatiot laajentavat Copilot Studio -käyttöönottojaan, jokaisen agentin konfiguraatioiden, ohjeiden ja aiherakenteen manuaalinen tarkastelu käy mahdottomaksi. Agenttien arvostelutyökalu automatisoi tämän tarkistuksen tekoälypohjaisen analyysin avulla, ja tyypillisesti toteuttamiskelpoiset löydökset saadaan alle 60 sekunnissa.

Se on tarkoitettu seuraaville:

• Tekijät: Hanki konkreettista palautetta agenttien laadun parantamiseksi ennen käyttöönottoa.
• Ylläpitäjät ja CoE-tiimit: Valvo hallintostandardeja ympäristön kaikissa agenteissa.
• Turvallisuus- ja vaatimustenmukaisuusvastaavat: Varmista, että agentit noudattavat tietosuoja-, turvallisuus- ja tarkkuusohjeita.

Tärkeimmät ominaisuudet

Aloita: Koontinäyttö

Kun avaat agenttien arvostelutyökalun, päädyt koontinäyttöön, keskitettyyn keskukseen, joka näyttää kaikki agentit ympäristössäsi ja niiden tarkistustilat.

Koontinäytön asettelu

Hallintapaneeli näyttää kaiken yhdellä silmäyksellä: välilehtipalkki, joka vaihtaa Copilot Studio- ja Microsoft 365 -agenttien välillä, neljä tilastokorttia, joissa yhteenveto portfolion kunnosta, hakutyökalupalkki, sivutettu agenttiruudukko ja Lataa ZIP -painike offline-tarkistuksiin.

Tilastokortit

Neljä tilastokorttia antavat välittömän kuvan agenttiportfoliosi kunnosta:

Agenttiruudukko

Ympäristön valitseminen

Oletuksena työkalu näyttää agentit ympäristöstä, johon sen asensit. Jos sinun täytyy tarkistaa agentti eri ympäristöstä, käytä ympäristövalitsijaa koontinäytön työkalupalkissa. Avattavassa valikossa on luettelo kaikista Power Platform -ympäristöistä, joihin sinulla on käyttöoikeus.

Kun valitset toisen ympäristön, agenttiruudukko päivittyy näyttämään agentit kyseisestä ympäristöstä. Voit sitten tarkistaa minkä tahansa näistä agenteista. Tarkistustulos tallennetaan nykyiseen (koti)ympäristöön, ei valitsemaasi ympäristöön.

Tarkistustilat

Työkalu tukee kahta erillistä tarkistustilaa, jotka ovat käytettävissä koontinäytön yläreunassa olevasta välilehtipalkista.

Copilot Studio -agentin tarkistus

Tämä tila tarkistaa Microsoft Copilot Studiossa rakennettuja agentteja. Se lukee suoraan Dataversesta – tiedostojen latausta ei tarvita.

Mitä se analysoi:

• Aihekonfiguraatiot (nimet, kuvaukset, muuttujat).
• Työkalujen ja toimintojen kokoonpanot (lukumäärä, kuvaukset, reititys).
• Tietolähteen tyypit.
• Testitapausten kattavuus.
• Agentin ohjeet (generatiivinen tila).
• Agentin metatiedot (kieli, todennus, tekoälyasetukset).

Tarkistuksen aloittaminen:

1. Etsi agenttisi ruudukosta.
2. Valitse Tarkista. Analyysi käynnistyy automaattisesti.
3. Edistymispaneeli näyttää, mitä tapahtuu reaaliajassa.
4. Tulokset avautuvat tarkistuspaneelissa, kun ne ovat valmiit.

Voit tarkistaa minkä tahansa agentin uudelleen milloin tahansa. Jokainen tarkistus luo uuden tietueen Dataverseen. Ruudukko näyttää aina viimeisimmän tarkistustuloksen.

Deklaratiivisten agenttien tarkistus (Microsoft 365 Copilot)

Tämä tila tarkastelee deklaratiivisia Microsoft 365 -agentteja, jotka määritellään manifest-JSON-tiedostolla ja otetaan käyttöön Microsoft 365 Copilot -ekosysteemissä.

Voit lähettää deklaratiivisen agentin tarkistettavaksi kahdella tavalla:

Mitä se analysoi (5 kriteeriä, ei 15):

Mitä tarkistuksen aikana tapahtuu

Kun valitset Tarkista, työkalu suorittaa automaattisen analyysin, joka yleensä valmistuu alle 60 sekunnissa. Edistymispaneeli pitää sinut ajan tasalla työn aikana.

Analyysi kattaa kolme asiaa peräkkäin:

1. Konfiguraatioanalyysi: Työkalu lukee agentin koko konfiguroinnin Dataversesta – kaikki aiheet, työkalut, tietolähteet, testitapaukset ja ohjeet. Se tarkistaa puuttuvat kentät kaikista komponenteista ja mittaa esimerkiksi työkalujen määrää ja testikattavuutta verrattuna Microsoftin dokumentoituihin parhaisiin käytäntöihin.
2. Tekoälypohjainen kuvioiden arviointi: Tekoälymalli tarkastelee samaa kokoonpanoa arvioidakseen laatua, ei pelkästään täydellisyyttä. Se tarkastelee, ovatko aiheiden nimet ja kuvaukset riittävän selkeitä, jotta generatiivinen orkestroija voi reitittää oikein, menevätkö useat aiheet päällekkäin tavoilla, jotka aiheuttavat reitityksen sekaannusta, ja antavatko työkalukuvaukset tekoälylle riittävästi ohjeita oikean työkalun kutsumiseen oikeaan aikaan.
3. Ohjeiden vaatimustenmukaisuuden tarkistus: Toinen tekoälymalli lukee agentin järjestelmäohjeet ja tarkistaa ne Microsoftin generatiivisen tilan ohjeistuksen 15 parhaan käytännön kriteerin perusteella – kattaen laajuuden, turvallisuuden, vastauksen laadun ja käyttäjäkokemuksen. Jokaisessa kriteerissä, jota ohjeet eivät täytä, ne tuovat esiin tietyn löydöksen ja konkreettisen suosituksen.

Kun kaikki kolme vaihetta on suoritettu, PDF-raportti luodaan automaattisesti ja tulokset avautuvat tarkistuspaneelissa.

Havaitut kuviot

Kuviot tunnistavat tietyt vastakuviot tai puuttuvat parhaat käytännöt agentin konfiguraatiossa. Työkalu tarkistaa 18 mallia seitsemässä kategoriassa.

Kaikki 18 mallia

Jokaiselle epäonnistuneelle mallille työkalu näyttää, mihin aiheisiin tämä vaikuttaa, mikä arvo laukaisi löydöksen, ehdotetun parannuksen sekä linkin asiaankuuluvaan Microsoft Learn -dokumentaatioon.

Kuviokategoriat

Tulosruudukko ryhmittelee kuviot seitsemään kategoriaan, jotka on lajiteltu seuraavassa järjestyksessä:

Vakavuuslogiikka

Avainsanojen yhdistämisen ja aiheiden määrän yhdistelmä määrittää kuvion vakavuuden:

Vakavuus ohjaa sekä visuaalista merkkiä tulosruudukossa että SARIF-virhetasoa viedyssä raportissa.

Vaatimustenmukaisuuden kriteerit

Tämä osa tarkistusta arvioi agentin järjestelmäohjeiden laatua – luonnollisen kielen tekstiä, jonka tekijä tarjoaa Copilot Studion Generatiivinen-asetuksissa. Nämä ohjeet määrittävät, miten agentti käyttäytyy kaikissa keskusteluissa.

Nämä 15 kriteeriä perustuvat Microsoftin generatiivisen tilan ohjeisiin ja edustavat vaikuttavimpia parhaita käytäntöjä ohjeiden laadulle.

Kaikki 15 ehtoa

Kategorioiden erittely

Miten pisteet lasketaan

Kaikki pisteet ovat 0–100-asteikolla ja deterministisiä. Samat syötteet tuottavat aina saman pistemäärän.

Kuviopisteet

Pattern Score = (Passed Patterns / Total Patterns) × 100

• Kuvioita yhteensä = 10 determinististä + kuinka monta tekoälyn havaitsemaa kuviota palautetaan (enintään 8).
• Läpäistyt kuviot = laske, missä kuvion tila on pass.
• Tulos pyöristetään lähimpään kokonaislukuun.

Esimerkki: 15 kuviota yhteensä, 12 läpäissyttä = kuviopisteet 80.

Ohjepisteet

Ohjepisteissä käytetään painotettua pistejärjestelmää, joka perustuu kunkin kriteerin luontaiseen vakavuuteen:

Instruction Score = (Earned Points / 35) × 100

• Jokaiselle 15 kriteerille, jos kyseiselle kriteerille ei löydy ongelmaa, lisätään sen luontaiset vakavuuspisteet.
• Jos "puuttuvat ohjeet" havaitaan, kaikki kriteerit epäonnistuvat ja pistemäärä on 0.
• Tulos puristetaan 100:aan ja pyöristetään lähimpään kokonaislukuun.

Esimerkki: 3 korkean ja 2 normaalin tason kriteeriä epäonnistuu:

• Ansaitut pisteet: (4 × 3) + (4 × 2) + (2 × 1) = 12 + 8 + 2 = 22 pistettä.
• Pisteet = (22 / 35) × 100 = 63.

Kokonaispisteet

Overall Score = (Pattern Score × 0.5) + (Instruction Score × 0.5)

Molempia dimensioita painotetaan yhtä paljon. Jos käytettävissä on vain yksi dimensio (esimerkiksi ohjeita ei ole), kyseisen dimension pisteitä käytetään suoraan.

Pisteiden väri- ja merkintäohje

Tulosten tarkasteleminen

Tarkistuksen päätyttyä tarkistuspaneeli näyttää tulokset. Paneelissa on kolme välilehteä.

Yleiskatsaus-välilehti

Yleiskatsaus-välilehti antaa yleiskatsauksen:

• Kokonaispistemäärä: Pyöreä mittari, jonka väri on vihreä, kullanruskea tai punainen.
• Kuviopisteet ja Ohjepisteet rinnakkain.
• Agentin metatiedot: Nimi, ympäristö, kieli, todennustila, tekoälyasetukset.
• Tekoälyn tuottama yhteenveto: Luonnollisen kielen kuvaus merkittävimmistä löydöksistä.
• Tarkistuksen aikaleima ja tietolähde (live-ympäristö tai ZIP-lataus).

Kuviot-välilehti

Kuviot-välilehti näyttää kaikkien 18 arvioidun kuvion koko ruudukon, jossa on seuraavat sarakkeet:

Voit lajitella ruudukon minkä tahansa sarakkeen mukaan. Oletuksena epäonnistuvat kuviot näkyvät ensin, järjestettyinä vakavuuden mukaan (Korkea, sitten Normaali, sitten Matala).

Vaatimustenmukaisuus-välilehti

Vaatimustenmukaisuus-välilehdellä näkyvät kaikki 15 ohjekriteeriä:

Porautuminen kuvion yksityiskohtiin

Kun valitset Tiedot mistä tahansa epäonnistuneesta kuviosta, Kuvion yksityiskohdat -paneeli avautuu. Näkyvissä on seuraavat tiedot:

• Kuvion nimi ja kuvaus: Mitä tämä kuvio tarkistaa.
• Miksi sillä on merkitystä: Tämän vastakuvion vaikutus agenttien laatuun.
• Liittyvät aiheet -taulukko: Jokainen aihe nykyisine arvoineen ja tekoälyn ehdottama korvaaja.
• Suositus: Konkreettinen toimenpide ongelman korjaamiseksi.
• Lue lisää: Suora linkki asiaankuuluvaan Microsoft Learn -dokumentaatioon.

Vaatimustenmukaisuuden yksityiskohtiin porautuminen

Kun valitset Tiedot minkä tahansa epäonnistuvan vaatimustenmukaisuuden kriteerin kohdalla, Vaatimustenmukaisuuden tiedot -paneeli avautuu. Näkyvissä on seuraavat tiedot:

• Kriteerin nimi, kategoria ja vakavuus
• Mitä kriteeri tarkistaa: Selkokielinen selitys
• Erityinen ongelma: Tekoälyn analyysi siitä, mikä puuttuu tai mikä on väärin
• Suositus: Tarkka kieli tai kuviot agentin ohjeisiin lisättäväksi
• Esimerkki: Jos saatavilla, esimerkki yhteensopivasta ohjeesta
• Lisätietoja: Linkki asiaankuuluvaan Microsoft Learn -ohjeistukseen

Viennin tulokset

Voit viedä tulokset kolmessa eri muodossa tarkistuspaneelin otsikosta.

PDF-raportti

Viimeistelty ihmisen luettava PDF-raportti, joka sopii jakamiseen sidosryhmille tai liitettäväksi hallinnon auditointiin.

Sisältö:

• Tiivistelmä, jossa pisteet ja keskeiset mittarit
• Kuvion arviointitulokset (tila, vakavuus, liittyvät aiheet)
• Vaatimustenmukaisuustulokset (kaikki 15 kriteeriä)
• Suositukset jokaiseen löydettyyn ongelmaan
• Agentin metatiedot (nimi, ympäristö, tarkistuspäivämäärä)

Tiedostonimen kaava: {AgentName}_review_{YYYY-MM-DD}.pdf

PDF luodaan automaattisesti jokaisen tarkistuksen lopussa ja tallennetaan Dataverseen tarkistustietueen yhteyteen. Seuraavat lataukset noutavat tallennetun tiedoston ilman analyysin uudelleensuorittamista.

SARIF-vienti

SARIF (Static Analysis Results Interchange Format v2.1.0) on JSON-muoto, joka on suunniteltu integroitavaksi kehittäjätyökaluihin ja CI/CD-putkiin.

Käyttötapaukset:

• Lataa GitHub Advanced Security -palveluun SARIF-pohjaisia PR-annotaatioita varten
• Tuo Azure DevOps -laatutarkistuksiin
• Prosessoi kolmannen osapuolen työkaluilla, jotka käyttävät SARIFia (SonarQube, Visual Studio Code jne.)

Rakenteen yleiskatsaus:

{
  "version": "2.1.0",
  "runs": [{
    "tool": {
      "driver": {
        "name": "Copilot Studio Agent Review Tool",
        "version": "1.0"
      }
    },
    "results": [
      {
        "ruleId": "pat-007",
        "level": "error",
        "message": { "text": "Excessive Tools Usage: 28 tools exceed the recommended limit of 25" },
        "properties": {
          "category": "Architecture",
          "recommendation": "Reduce tool count to 25 or fewer"
        }
      }
    ]
  }]
}

Vakavuuden ja SARIF-tason yhdistämismääritys:

• Korkea = "error"
• Normaali = "warning"
• Matala = "note"

Tiedostonimen kaava: {AgentName}_review.sarif

Excel-vienti

Usean laskentataulukon Excel-työkirja data-analyysiin, raportointiin ja arkistointiin.

Otsikot ovat lihavoituja ja niissä on brändin värivalinnan mukaiset taustat. Piste- ja vakavuussolut on värikoodattu vihreäksi, kullanruskeaksi tai punaiseksi. Sarakkeiden leveys säätyy automaattisesti.

Tiedostonimen kaava: {AgentName}_review_{YYYY-MM-DD}.xlsx

Deklaratiivisten agenttien tarkistuksen syventävä ohje

Deklaratiiviset Microsoft 365 -agentit ovat erilaisia agentteja kuin Copilot Studio -agentit. Ne määritellään kokonaan JSON-luettelotiedostolla ja otetaan käyttöön Microsoft 365 -ekosysteemissä.

Mitä deklaratiivisen agentin tarkistus tarkistaa

Tarkistus vahvistaa ensin luettelotiedoston rakenteen tarkistaen että kaikki vaaditut kentät ovat olemassa ja skeema on oikein muotoiltu. Sen jälkeen se suorittaa tekoälyarvioinnin viiden laatukriteerin perusteella ja tuottaa PDF-raportin. Ohjeiden 15 kriteerin noudattamistarkastus (Copilot Studio -agenteille) ei koske tätä.

Deklaratiivisen agentin 5 arviointikriteeriä

Luettelotiedoston kuntotarkastus (paikallinen vahvistus)

Ennen kuin tekoäly käynnistyy, deterministinen kuntotarkastus vahvistaa luettelotiedoston rakenteen:

• Pakolliset kentät olemassa (name, description, instructions)
• Rakenteen version yhteensopivuus
• Toimintolisäosan viittaukset pätevät
• Keskustelunaloitusten määrä rajojen sisällä (3–12)
• Ominaisuusmäärittelyt oikein muodostettu

Kaikki kuntotarkastuksen epäonnistumiset näkyvät ongelmina deklaratiivisen agentin tarkistustuloksissa, riippumatta tekoälyarvioinnista.

Lähetä deklaratiivinen agentti tarkistettavaksi

ZIP-latauksen kautta (yleisin):

1. Vie deklaratiivinen agentti laadintatyökalustasi ZIP-pakettina.
2. Valitse Lataa ZIP agenttien arvostelutyökalun sivun otsikosta.
3. Jos ZIP-tiedostossa on useita agentteja, valintapaneeli antaa sinun valita, minkä niistä tarkistat.
4. Tarkistus suoritetaan automaattisesti.

Microsoft 365 -katalogin kautta (vaatii Graph API:n määrityksen):

1. Valitse Microsoft 365 Agents -välilehdeltä Yhdistä Microsoft 365:een.
2. Suorita ohjattu Graph API -valtuutustoiminto.
3. Käyttöön otetut deklaratiiviset agentit näkyvät Deklaratiivinen agentti -ruudukossa.
4. Valitse Tarkista minkä tahansa deklaratiivisen agentin kohdalla.

Tietoturva ja tietojen käyttöoikeudet

Tässä osiossa kuvataan, miten Agenttien arvostelutyökalu hoitaa tietoturvan ja tietojen käyttöoikeudet.

Tietojen tallennus

Kaikki tarkistustulokset tallennetaan Dataverse-taulukkoon cat_agentreviews. Jokainen tietue tallentaa seuraavat:

Rivitason suojaus

Taulukko cat_agentreviews käyttää käyttäjätason (perus) lukulaajuutta Dataversessa. Käyttäjät näkevät vain itse luomansa tarkistukset. Toisen käyttäjän tarkistukset eivät koskaan näy edes samassa ympäristössä. Dataverse, ei sovelluskoodi, valvoo tätä turvallisuutta natiivisti.

Lähdeympäristöt

Käyttäjät voivat tarkistaa agentteja ympäristöistä, joihin heillä on pääsy, eivät vain nykyisestä ympäristöstä. Koontinäyttö tukee ympäristöjen välisiä tarkistuksia ympäristövalitsimen kautta. Muiden ympäristöjen tarkistukset on merkitty lähdeympäristön URL-osoitteella, jotta ne näkyvät oikein työkalun latautuessa.

ZIP-latauksesta peräisin olevat tarkistukset näytetään aina riippumatta siitä, mihin ympäristöön työkalu on yhdistetty.

Mitä dataa poistuu ympäristöstä

• Agentin konfiguraatio (aiheet, työkalut, ohjeet) lähetetään tekoälymalleille Dataverse PredictV2:n kautta. Tämä kulkee tavallisen Dataversen tekoälymallin kutsupolun läpi ja on samojen tietojen sijaintikäytäntöjen alainen kuin mikä tahansa Dataversen tekoälyoperaatio.
• Tietoja ei lähetetä millekään kolmannen osapuolen palvelulle tai ulkoiseen päätepisteeseen.
• Tarkistustulokset (mukaan lukien PDF) tallennetaan yksinomaan Dataverseen.

Ensimmäisen suorituksen käyttökokemus ja tervetulokierros

Ensimmäisellä kerralla, kun käyttäjä avaa Agenttien arvostelutyökalun, tervetulokierros opastaa hänet käyttöliittymän keskeisiin osiin:

1. Koontinäytön tilastokortit ja mitä ne edustavat
2. Kuinka lukea agenttiruudukkoa
3. Tarkistuksen aloittaminen
4. Tulosten tulkinta
5. Vientivaihtoehdot

Kierroksen edistyminen säilyy Dataversessa, joten kierros ei toistu sen suorittamisen jälkeen. Käyttäjät voivat avata kierroksen uudelleen milloin tahansa sivun otsikon Ohje / Pikalinkit -osiosta.

Usein kysyttyjä kysymyksiä

Tämä osio käsittelee yleisiä kysymyksiä Agenttien arvostelutyökalusta.

Kuinka kauan tarkistus kestää?

Tyypillinen agentti, jossa on alle 20 aihetta, valmistuu alle 60 sekunnissa. Työkalulla on 2 minuutin kova aikakatkaisu. Erittäin suuret agentit (yli 50 aihetta, monia työkaluja) saattavat lähestyä rajaa.

Muokkaako työkalu agenttiani?

Ei. Työkalu on täysin vain luku -tyyppinen agenttidatan osalta. Se vain lukee agentin konfiguraation. Kaikki kirjoitukset menevät cat_agentreviews-taulukkoon.

Voinko tarkistaa agentin uudelleen muutosten jälkeen?

Kyllä. Jokainen tarkistus luo uuden tietueen. Ruudukko näyttää aina viimeisimmän tarkistuksen. Vanhat tarkistukset pysyvät Dataversessa ja niihin pääsee tarvittaessa ohjelmallisesti käsiksi.

Entä jos agenttini on eri ympäristössä?

Käytä koontinäytön ympäristövalitsinta osoittaaksesi työkalun toiseen ympäristöön, johon sinulla on pääsy. Tarkistus suoritetaan kyseiselle ympäristölle, ja tulos tallennetaan nykyiseen ympäristöön.

Voinko tarkistaa agentteja, joita en ole itse luonut?

Kyllä. Voit tarkistaa minkä tahansa agentin, johon sinulla on lukuoikeus Dataversessa. Kuitenkin näet vain luomasi arvostelut (rivitason tietoturva). Muiden käyttäjien tarkistuksia ei näy.

Mikä on SARIF ja tarvitsenko sitä?

SARIF on vakiomuoto staattisen analyysin tuloksille. Tarvitset sitä vain, jos integroit agenttien laadun tarkistuksia CI/CD-putkeen (GitHub Actions tai Azure DevOps). Useimmille käyttäjille riittää PDF- ja Excel-vienti.

Työkalu sanoo, ettei agentillani ole ohjeita. Onko se ongelma?

Kyllä. Työkalu näyttää vain agentit, joilla on generatiivinen tekoäly käytössä, joten jokaisen ruudukon agentin odotetaan sisältävän ohjeet. Jos vaatimustenmukaisuuden tarkistus näyttää Ei ohjeita -ilmoituksen, agentin generatiivinen orkestrointi on aktiivinen, mutta järjestelmäohjeita ei ole vielä kirjoitettu. Ohjeiden lisääminen on erittäin suositeltavaa.

Miksi "Persoona ja sävy" -tuloksella on matala vakavuus?

Microsoftin ohjeistuksessa todetaan, että ammattimainen, kohtelias sävy on jo Copilot Studio -agenttien oletuskäytös. Sävyohjeet ovat tarpeen vain, jos haluat muun kuin oletussävyn. Tämä kriteeri on Matala, koska epäonnistuminen harvoin aiheuttaa käyttäjille ongelmia.

Kuluttaako tarkistuksen tekeminen Copilot-krediittejä?

Kyllä. Jokainen tarkistus kutsuu tekoälymalleja kolme kertaa – kuvioiden arviointiin, ohjeiden noudattamiseen ja PDF-tiedostojen generointiin. Jokainen kutsu kuluttaa Copilot-krediittejä vuokraajastasi. Saman agentin uudelleentarkistus kuluttaa myös krediittejä, joten tee ensin muutokset ja sitten tarkista uudelleen.

Voinko viedä kaikki tarkistukset kerralla?

Kyllä. Käytä Vie kaikki -painiketta agenttiruudukon työkalupalkissa luodaksesi Excel-työkirjan, joka kattaa kaikki tarkistetut agentit nykyisessä näkymässä.

Liittyvät tiedot

• Copilot Agent Kit – yleiskatsaus
• Copilot Agent Kitin asentaminen
• Generatiivisen tilan ohjeistus
• Agenttien määrittäminen Copilot Studio Kitissa
• Copilot Agent Kitin agenttivarasto