Analyser agenter ved hjelp av Verktøy for agentgjennomgang i Copilot-agentsettet

Verktøy for agentgjennomgang er et automatisert system for kvalitetsvurdering og samsvarsgjennomgang for Microsoft Copilot Studio-agenter og deklarative Microsoft 365-agenter. Det hjelper skapere, administratorer og styringsteam med å identifisere problemer, avviksmønstre og etterlevelseshull før de når sluttbrukerne.

Etter hvert som organisasjoner skalerer sine Copilot Studio-distribusjoner, blir det umulig å manuelt gjennomgå hver agents konfigurasjon, instruksjoner og emnestruktur. Verktøy for agentgjennomgang automatiserer denne gjennomgangen gjennom KI-drevet analyse og viser vanligvis konkrete funn på under 60 sekunder.

Det er for:

• Skapere: Få praktisk tilbakemelding for å forbedre agentkvaliteten før distribusjon.
• Administratorer og CoE-team: Håndhev styringsstandarder på tvers av alle agenter i et miljø.
• Sikkerhets- og etterlevelsesansvarlige: Kontroller at agentene følger retningslinjer for personvern, sikkerhet og nøyaktighet.

Viktige funksjoner

Kom i gang: Instrumentbordet

Når du åpner Verktøy for agentgjennomgang, lander du på Instrumentbord, det sentrale knutepunktet som viser alle agenter i miljøet ditt og deres gjennomgangsstatus.

Instrumentbordoppsett

Instrumentbordet viser alt på én gang: fanelinjen som veksler mellom Copilot Studio- og Microsoft 365-agenter, fire statistikkort som oppsummerer tilstanden i porteføljen, en søkeverktøylinje, det paginerte agentrutenettet og knappen Last opp ZIP for frakoblede gjennomganger.

Statistikkort

De fire statistikkortene gir deg et øyeblikksbilde av tilstanden til agentporteføljen din:

Agentrutenett

Velg et miljø

Som standard viser verktøyet agenter fra miljøet der du installerte det. Hvis du trenger å gjennomgå en agent fra et annet miljø, bruk miljøvelgeren på verktøylinjen i instrumentbordet. Rullegardinlisten viser alle Power Platform-miljøer du har tilgang til.

Etter at du har valgt et annet miljø, oppdateres agentrutenettet for å vise agenter fra det miljøet. Du kan deretter gjennomgå hvilken som helst av disse agentene. Gjennomgangsresultatet lagres i det nåværende (hjemme)miljøet, ikke i det du har valgt.

Gjennomgangsmoduser

Verktøyet støtter to distinkte gjennomgangsmoduser, som er tilgjengelige fra fanelinjen øverst på instrumentbordet.

Gjennomgang av Copilot Studio-agent

Denne modusen gjennomgår agenter utviklet i Microsoft Copilot Studio. Den leses direkte fra Dataverse – ingen filopplasting kreves.

Hva den analyserer:

• Emnekonfigurasjoner (navn, beskrivelser, variabler).
• Verktøy- og handlingskonfigurasjoner (antall, beskrivelser, ruting).
• Kunnskapskildetyper.
• Dekning av testsak.
• Agentinstruksjoner (generativ modus).
• Agentmetadata (språk, godkjenning, KI-innstillinger).

Slik starter du en gjennomgang:

1. Finn agenten din i rutenettet.
2. Velg Gjennomgang. Analysen starter automatisk.
3. Et fremdriftspanel viser hva som skjer i sanntid.
4. Resultatene åpnes i gjennomgangspanelet når de er ferdige.

Du kan gå gjennom en hvilken som helst agent igjen når som helst. Hver gjennomgang oppretter en ny post i Dataverse. Rutenettet viser alltid det nyeste gjennomgangsresultatet.

Gjennomgang av deklarativ agent (Microsoft 365 Copilot)

Denne modusen gjennomgår deklarative Microsoft 365-agenter, som defineres av en JSON-manifestfil og distribueres til Microsoft 365 Copilot-økosystemet.

Du kan sende inn en deklarativ agent til gjennomgang på to måter:

Hva den analyserer (5 kriterier, ikke 15):

Hva skjer under en gjennomgang

Når du velger Gjennomgang, kjører verktøyet en automatisert analyse som vanligvis fullføres på under 60 sekunder. Et fremdriftspanel holder deg informert mens den arbeider.

Analysen dekker tre ting i rekkefølge:

1. Konfigurasjonsanalyse: Verktøyet leser agentens komplette konfigurasjon fra Dataverse – alle temaer, verktøy, kunnskapskilder, testsaker og instruksjoner. Den sjekker for manglende felter på tvers av alle komponenter og måler ting som antall verktøy og testdekning opp mot Microsofts dokumenterte anbefalte fremgangsmåter.
2. KI-drevet mønsterevaluering: En KI-modell gjennomgår samme konfigurasjon for å vurdere kvalitet, ikke bare fullstendighet. Den ser på om emnenavn og beskrivelser er tydelige nok til at den generative iverksetteren kan rute riktig, om flere emner overlapper på måter som fører til rutingsforvirring, og om verktøybeskrivelser gir KI-en nok veiledning til å aktivere riktig verktøy til rett tid.
3. Etterlevelseskontroll for instruksjoner: En annen KI-modell leser agentens systeminstruksjoner og sjekker dem mot 15 kriterier for anbefalte fremgangsmåter fra Microsofts veiledning om generativ modus – som dekker omfang, sikkerhet, responskvalitet og brukeropplevelse. For hvert kriterium instruksjonene ikke tilfredsstiller, dukker det opp et spesifikt funn og en konkret anbefaling.

Etter at alle tre trinnene er fullført, genereres en PDF-rapport automatisk, og resultatene åpnes i gjennomgangspanelet.

Mønstre oppdaget

Mønstre identifiserer spesifikke avviksmønstre eller manglende anbefalte fremgangsmåter i en agents konfigurasjon. Verktøyet sjekker 18 mønstre fordelt på 7 kategorier.

Alle de 18 mønstrene

For hvert feilmønster viser verktøyet hvilke emner som er påvirket, den nåværende verdien som utløste funnet, en foreslått forbedring, og en kobling til relevant Microsoft Learn-dokumentasjon.

Mønsterkategorier

Resultatrutenettet grupperer mønstre i syv kategorier, sortert i følgende rekkefølge:

Logikk for alvorsgrad

Kombinasjonen av nøkkelordsamsvar og antall emner avgjør mønsterets alvorsgrad:

Alvorsgraden styrer både den visuelle indikatoren i resultatrutenettet og SARIF-feilnivået i den eksporterte rapporten.

Etterlevelseskriterier

Denne delen av gjennomgangen vurderer kvaliteten på agentens systeminstruksjoner – teksten på naturlig språk en skaper oppgir i de generative innstillingene i Copilot Studio. Disse instruksjonene definerer hvordan agenten oppfører seg i alle samtaler.

De 15 kriteriene er utledet fra Microsofts veiledning for generativ modus og representerer de mest virkningsfulle anbefalte fremgangsmåtene for instruksjonskvalitet.

Alle de 15 kriteriene

Kategorifordeling

Hvordan poeng beregnes

Alle poeng er på en skala fra 0–100 og er deterministiske. De samme inndataene gir alltid samme poengsum.

Mønsterpoeng

Pattern Score = (Passed Patterns / Total Patterns) × 100

• Totalt antall mønstre = 10 deterministiske + hvor mange KI-detekterte mønstre som returneres (opptil 8).
• Beståtte mønstre = antall der mønsterstatusen er pass.
• Resultatet rundes av til nærmeste heltall.

Eksempel: 15 mønstre totalt, 12 bestått = Mønsterpoeng på 80.

Instruksjonspoeng

Instruksjonspoengsummen bruker et vektet poengsystem basert på hvor alvorlig hvert kriterium er:

Instruction Score = (Earned Points / 35) × 100

• For hvert av de 15 kriteriene legges dets iboende alvorsgradspoeng til hvis det ikke finnes noe problem med det kriteriet.
• Hvis «manglende instruksjoner» oppdages, stryker alle kriterier, og poengsummen er 0.
• Resultatet låses på 100 og avrundes til nærmeste heltall.

Eksempel: 3 høye og 2 middels kriterier stryker:

• Poeng oppnådd: (4 × 3) + (4 × 2) + (2 × 1) = 12 + 8 + 2 = 22 poeng.
• Poengsum = (22/35) × 100 = 63.

Total poengsum

Overall Score = (Pattern Score × 0.5) + (Instruction Score × 0.5)

Begge dimensjonene vektlegges likt. Hvis bare én dimensjon er tilgjengelig (det finnes for eksempel ingen instruksjoner), brukes den dimensjonens poengsum direkte.

Poengveiledning for farge og etikett

Gjennomgå resultater

Etter at gjennomgangen er ferdig, vises resultatene på gjennomgangspanelet. Panelet har tre faner.

Fanen Oversikt

Oversikt-fanen gir deg et overordnet sammendrag:

• Total poengsum: En sirkelformet måler farget grønn, gul eller rød.
• Mønsterpoeng og instruksjonspoeng side ved side.
• Agentmetadata: Navn, miljø, språk, godkjenningsmodus, KI-innstillinger.
• KI-generert oppsummering: En beskrivelse på naturlig språk av de mest betydningsfulle funnene.
• Tidsstempel for gjennomgang og datakilde (live-miljø eller ZIP-opplasting).

Mønstre-fanen

Mønstre-fanen viser hele rutenettet over alle de 18 evaluerte mønstrene, med disse kolonnene:

Du kan sortere rutenettet etter enhver kolonne. Som standard vises ikke-beståtte mønstre først, sortert etter alvorsgrad (høy, middels og til slutt lav).

Etterlevelse-fanen

Etterlevelse-fanen viser alle de 15 instruksjonskriteriene:

Neddrilling i mønsterdetaljer

Når du velger Detaljer på et ikke-bestått mønster, åpnes panelet Mønsterdetaljer . Den viser:

• Mønsternavn og beskrivelse: Hva dette mønsteret sjekker.
• Hvorfor det er viktig: Effekten av dette avviksmønsteret på agentkvaliteten.
• Tabell for berørte emner: Hvert emne med sin nåværende verdi og KI-ens foreslåtte erstatning.
• Anbefaling: En konkret handling for å løse problemet.
• Mer informasjon: En direkte kobling til relevant Microsoft Learn-dokumentasjon.

Neddrilling i etterlevelsesdetaljer

Når du velger Detaljer på et ikke-bestått etterlevelsesvilkår, åpnes panelet Etterlevelsesdetaljer . Den viser:

• Navn på vilkår, kategori og alvorsgrad
• Hva vilkåret sjekker: En forklaring på enkelt språk
• Spesifikt problem funnet: KI-ens analyse av hva som mangler eller er galt
• Anbefaling: Eksakt språk eller mønstre som skal legges til agentens instruksjoner
• Eksempel: Der det er tilgjengelig, et eksempel på en kompatibel instruksjon
• Mer informasjon: Kobling til relevant Microsoft Learn-veiledning

Eksporter resultater

Du kan eksportere resultater i tre formater fra overskriften i gjennomgangspanelet.

PDF-rapport

En polert, lesbar PDF-rapport som egner seg for deling med interessenter eller som vedlegg til en styringsrevisjon.

Innhold:

• Kortfattet sammendrag med poengsummer og nøkkelmålinger
• Resultater fra mønsterevaluering (status, alvorsgrad, berørte emner)
• Etterlevelsesfunn (alle 15 kriterier)
• Anbefalinger for hvert problem som ble funnet
• Agentmetadata (navn, miljø, gjennomgangsdato)

Filnavnmønster: {AgentName}_review_{YYYY-MM-DD}.pdf

PDF-filen genereres automatisk ved slutten av hver gjennomgang og lagres i Dataverse sammen med gjennomgangsoppføringen. Påfølgende nedlastinger henter den lagrede filen uten å kjøre analysen på nytt.

SARIF-eksport

SARIF (Static Analysis Results Interchange Format v2.1.0) er et JSON-format designet for integrasjon med utviklerverktøy og CI/CD-rørledninger.

Brukstilfeller:

• Last opp til GitHub Advanced Security for SARIF-baserte PR-merknader
• Importer til kvalitetssikringskontroller i Azure DevOps
• Behandle med tredjepartsverktøy som bruker SARIF (SonarQube, Visual Studio Code osv.)

Oversikt over struktur:

{
  "version": "2.1.0",
  "runs": [{
    "tool": {
      "driver": {
        "name": "Copilot Studio Agent Review Tool",
        "version": "1.0"
      }
    },
    "results": [
      {
        "ruleId": "pat-007",
        "level": "error",
        "message": { "text": "Excessive Tools Usage: 28 tools exceed the recommended limit of 25" },
        "properties": {
          "category": "Architecture",
          "recommendation": "Reduce tool count to 25 or fewer"
        }
      }
    ]
  }]
}

Tildeling av alvorsgrad til SARIF-nivå:

• Høy = "error"
• Middels = "warning"
• Lav = "note"

Filnavnmønster: {AgentName}_review.sarif

Excel-eksport

En Excel-arbeidsbok med flere ark for dataanalyse, rapportering og arkivering.

Overskriftene er fete med bakgrunner i merkevarefarger. Celler for poengsum og alvorsgrad er fargekodet grønn, gul eller rød. Kolonnebreddene justeres automatisk.

Filnavnmønster: {AgentName}_review_{YYYY-MM-DD}.xlsx

Gjennomgang av deklarativ agent, dypdykk

Deklarative Microsoft 365-agenter er en annen type agent enn Copilot Studio-agenter. De defineres fullstendig av en JSON-manifestfil og distribueres til Microsoft 365-økosystemet.

Hva gjennomgangen av deklarativ agent sjekker

Gjennomgangen validerer først manifeststrukturen og sjekker at alle nødvendige felter er til stede, og at skjemaet er godt utformet. Deretter kjører den en KI-evaluering mot fem kvalitetskriterier og genererer en PDF-rapport. Etterlevelseskontrollen av instruksjoner, med 15 kriterier (spesifikt for Copilot Studio-agenter), brukes ikke her.

De 5 kriteriene for evaluering av deklarative agenter

Tilstandskontroll av manifest (lokal validering)

Før KI-en kjører, valideres manifeststrukturen av en deterministisk tilstandskontroll:

• Påkrevde felter til stede (name, description, instructions)
• Kompatibilitet for skjemaversjon
• Gyldige referanser til programtillegg for handling
• Telling av samtalestarter innenfor grensene (3–12)
• Kapabilitetsdeklarasjoner korrekt utformet

Eventuelle feil i tilstandskontrollen vises som problemer i gjennomgangsresultatene for den deklarative agenten, uavhengig av KI-evalueringen.

Send inn en deklarativ agent for gjennomgang

Gjennom ZIP-opplasting (vanligst):

1. Eksporter den deklarative agenten fra forfatterverktøyet ditt som en ZIP-pakke.
2. Velg Last opp ZIP i sideoverskriften i Verktøy for agentgjennomgang.
3. Hvis ZIP-en inneholder flere agenter, kan du velge hvilken som skal gjennomgås, på et velgerpanel.
4. Gjennomgangen kjører automatisk.

Gjennom Microsoft 365-katalogen (krever oppsett av Graph API):

1. Velg Koble til Microsoft 365 på fanen Microsoft 365-agenter.
2. Fullfør Graph API-autorisasjonsveiviseren.
3. Dine implementerte deklarative agenter vises i rutenettet over deklarative agenter.
4. Velg Gå gjennom for en hvilken som helst deklarativ agent.

Sikkerhet og datatilgang

Denne delen beskriver hvordan verktøyet for agentgjennomgang håndterer sikkerhet og datatilgang.

Datalagring

Alle gjennomgangsresultater lagres i cat_agentreviews Dataverse-tabellen. Hver oppføring lagrer:

Sikkerhet på radnivå

Tabellen cat_agentreviews bruker leseomgang på brukernivå (Basic) i Dataverse. Brukere kan kun se gjennomganger de har opprettet. En annen brukers gjennomganger er aldri synlige, selv ikke i samme miljø. Dataverse håndhever denne sikkerheten innebygd, ikke programkoden.

Kildemiljøer

Brukere kan gjennomgå agenter fra miljøer de har tilgang til, ikke bare det nåværende miljøet. Instrumentbordet støtter gjennomganger på tvers av miljøer gjennom miljøvelgeren. Gjennomganger fra andre miljøer er merket med nettadressen til kildemiljøet, slik at de vises korrekt når verktøyet lastes.

Gjennomganger hentet fra en ZIP-opplasting vises alltid, uansett hvilket miljø verktøyet er koblet til.

Hvilke data forlater miljøet

• Agentens konfigurasjon (emner, verktøy, instruksjoner) sendes til KI-modellene via Dataverse PredictV2. Dette går gjennom standard oppkallsbane for KI-modellen i Dataverse og er underlagt de samme retningslinjene for datalagring som enhver KI-operasjon i Dataverse.
• Ingen data sendes til en tredjepartstjeneste eller et ekstern endepunkt.
• Gjennomgangsresultater (inkludert PDF-filen) lagres utelukkende i Dataverse.

Førstegangsopplevelse og velkomsttur

Første gang en bruker åpner verktøyet for agentgjennomgang, får de velkomstomvisning som veileder dem gjennom de viktigste delene av grensesnittet:

1. Statistikkortene på instrumentbordet og hva de representerer
2. Slik leser du agentrutenettet
3. Slik starter du en gjennomgang
4. Slik tolker du resultatene
5. Eksportalternativene

Omvisningen fortsetter i Dataverse, så den gjentas ikke etter fullføring. Brukere kan åpne omvisningen når som helst fra Hjelp / Hurtigkoblinger i sideoverskriften.

Vanlige spørsmål

Denne delen tar for seg vanlige spørsmål om verktøyet for agentgjennomgang.

Hvor lang tid tar en gjennomgang?

En typisk agent med færre enn 20 emner blir ferdig på under 60 sekunder. Verktøyet har en fast tidsgrense på 2 minutter. Svært store agenter (flere enn 50 emner, mange verktøy) kan nærme seg grensen.

Endrer verktøyet agenten min?

Antall Verktøyet er fullstendig skrivebeskyttet når det gjelder agentdata. Det leser kun agentkonfigurasjonen. Alle skrivinger går til cat_agentreviews-tabellen.

Kan jeg gjennomgå en agent på nytt etter å ha gjort endringer?

Ja. Hver gjennomgang oppretter en ny oppføring. Rutenettet viser alltid den nyeste gjennomgangen. Gamle gjennomganger forblir i Dataverse og kan åpnes programmatisk om nødvendig.

Hva om agenten min er i et annet miljø?

Bruk miljøvelgeren på instrumentbordet for å peke verktøyet mot et annet miljø du har tilgang til. Gjennomgangen kjører mot det miljøet, og resultatet lagres i det nåværende miljøet.

Kan jeg gå gjennom agenter jeg ikke har opprettet?

Ja. Du kan gå gjennom en hvilken som helst agent du har lesetilgang til i Dataverse. Du kan imidlertid bare se gjennomganger du har opprettet (sikkerhet på radnivå). Gjennomganger fra andre brukere er ikke synlige.

Hva er SARIF, og trenger jeg det?

SARIF er et standardformat for statiske analyseresultater. Du trenger det bare hvis du integrerer agentens kvalitetskontroller i en CI/CD-rørledning (GitHub-handlinger eller Azure DevOps). For de fleste brukere er PDF- og Excel-eksport tilstrekkelig.

Verktøyet sier at agenten min ikke har noen instruksjoner. Er det et problem?

Ja. Verktøyet viser kun agenter som har generativ KI aktivert, så alle agenter i rutenettet forventes å ha instruksjoner. Hvis etterlevelseskontrollen ikke rapporterer noen instruksjoner, er agentens generative iverksetting aktiv, men ingen systeminstruksjoner er skrevet ennå. Det anbefales sterkt å legge til instruksjoner.

Hvorfor har «Identitet og tone» lav alvorsgrad?

Microsofts veiledning påpeker at en profesjonell, høflig tone allerede er standard atferd for Copilot Studio-agenter. Instruksjoner for tone er bare nødvendige hvis du vil ha en ikke-standard tone. Dette kriteriet er lavt fordi det sjelden fører til problemer for brukeren hvis det ikke er bestått.

Vil kjøring av en gjennomgang bruke Copilot-kreditter?

Ja. Hver gjennomgang kaller opp KI-modeller tre ganger – for mønsterevaluering, etterlevelse av instruksjoner og PDF-generering. Hvert oppkall bruker Copilot-kreditter fra leieren din. Å gjennomgå samme agent på nytt bruker også kreditter, så gjør endringene først og kjør deretter gjennomgangen på nytt.

Kan jeg eksportere alle gjennomganger samtidig?

Ja. Bruk knappen Eksporter Alle på verktøylinjen i agentrutenettet for å generere en Excel-arbeidsbok som dekker alle gjennomgåtte agenter i den nåværende visningen.

Relatert informasjon

• Oversikt over Copilot-agentsettet
• Installer Copilot Agent Kit
• Veiledning om generativ modus
• Konfigurer agenter i Copilot-agentsett
• Agentbeholdning i Copilot-agentsettet