Analyser dine agenter ved hjælp af Agent-vurderingsværktøj l i Copilot Agent Kit

Agent-vurderingsværktøj er et automatiseret system til kvalitetsvurderings- og vurdering af overholdelse til Microsoft Copilot Studio-agenter og beskrivende Microsoft 365-agenter. Det hjælper udviklere, administratorer og styringsteams med at identificere problemer, anti-mønstre og manglende overholdelse før de når ud til slutbrugerne.

Efterhånden som organisationer skalerer deres Copilot Studio-udrulninger, bliver det umuligt at gennemgå hver agents konfiguration, instruktioner og emnestruktur manuelt. Agent-vurderingsværktøj automatiserer denne vurdering via AI-drevet analyse, der typisk giver handlingsorienterede resultater på under 60 sekunder.

Det er til:

• Udviklere: Få handlingsorienteret feedback, og forbedr agenten før implementeringen.
• Administratorer og CoE-teams: Håndhæv styringsstandarder for alle agenter i et miljø.
• Sikkerheds- og overholdelsesansvarlige: Bekræft, at agenter følger retningslinjer for beskyttelse af personlige oplysninger, sikkerhed og nøjagtighed.

Nøglefunktioner

Kom i gang: dashboardet

Når du åbner Agent-vurderingsværktøj, lander du på dashboardet, som er det centrale sted, der viser alle agenter i dit miljø og deres vurderingsstatus.

Dashboardlayout

Dashboardet viser alt med en oversigt: Fanelinjen, der skifter mellem Copilot Studio- og Microsoft 365-agenter, fire statistikkort der opsummerer porteføljens status, en søgeværktøjslinje, det sideinddelte agentgitter og knappen Upload ZIP-fil til offline-vurderinger.

Statistikkort

De fire statistikkort giver dig et hurtigt overblik over din agentporteføljes status:

Agentgitter

Vælg et miljø

Som standard viser værktøjet agenter fra det miljø, hvor du installerede den. Hvis du skal gennemgå en agent fra et andet miljø, skal du bruge miljøvælgeren i dashboard-værktøjslinjen. Rullemenuen viser alle de Power Platform-miljøer, du har adgang til.

Når du har valgt et andet miljø, opdateres agentgitteret og viser agenter fra det pågældende miljø. Herefter kan du gennemgå en af disse agenter. Vurderingsresultatet gemmes i det nuværende miljø (start) – ikke i det, du har valgt.

Vurderingstilstande

Værktøjet understøtter to forskellige vurderingstilstande, som kan tilgås fra fanelinjen øverst på dashboardet.

Vurdering af Copilot Studio-agent

Denne tilstand gennemgår agenter, der er i Microsoft Copilot Studio. Den læses direkte fra Dataverse – ingen filupload er nødvendig.

Hvad den analyserer:

• Emnekonfigurationer (navne, beskrivelser og variabler).
• Værktøjs- og handlingskonfigurationer (antal, beskrivelser, routing).
• Typer af videnkilder.
• Testsagsdækning.
• Agentinstruktioner (generativ tilstand).
• Agentmetadata (sprog, godkendelse og AI-indstillinger).

Sådan startes en vurdering:

1. Find din agent i gitteret.
2. Vælg Gennemse. Analysen starter automatisk.
3. Et statuspanel viser, hvad der sker i realtid.
4. Resultaterne åbner i vurderingspanelet, når de er færdige.

Du kan altid gennemgå enhver agent igen. Hver vurdering opretter en ny post i Dataverse. Gitteret viser altid det seneste vurderingsresultat.

Vurdering af deklarativ Microsoft 365 Copilot-agent

Denne tilstand gennemgår deklarative Microsoft 365-agenter, som defineres af en JSON-manifestfil og implementeres i Microsoft 365 Copilot-økosystemet.

Du kan få en deklarativ agent vurderet på to måder:

Hvad den analyserer (5 kriterier – ikke 15):

Hvad der sker under en vurdering

Når du vælger Vurdering, kører værktøjet en automatiseret analyse, som typisk gennemføres på under 60 sekunder. Et statuspanel holder dig informeret, mens det arbejder.

Analysen dækker tre ting i rækkefølge:

1. Konfigurationsanalyse: Værktøjet læser agentens komplette konfiguration fra Dataverse – hvert emne, værktøj, videnskilde, testsag og instruktion. Det søger efter manglende felter i alle komponenter og måler ting som værktøjsantal og testdækning i forhold til Microsofts dokumenterede bedste praksis.
2. AI-drevet mønstervurdering: En AI-model vurdere den samme konfiguration for at evaluere kvalitet – ikke blot fuldstændighed. Den undersøger, om emnenavne og beskrivelser er klare nok til, at den generative organisator kan route korrekt, om flere emner overlapper på måder, der skaber routing-forvirring, og om værktøjsbeskrivelser giver den kunstige intelligens vejledning nok til at aktivere det rigtige værktøj på det rigtige tidspunkt.
3. Kontrol af instruktionsoverholdelse: En anden AI-model læser agentens systeminstruktioner og kontrollerer dem i forhold til 15 kriterier for bedste praksis fra Microsofts generative tilstandsvejledning, der dækker omfang, sikkerhed, svarkvalitet og brugeroplevelse. Hvert kriterium, som instruktionerne ikke opfylder, resulterer i et specifikt fund og en konkret anbefaling.

Når alle tre trin er gennemført, genereres en PDF-rapport automatisk, og resultaterne åbnes i vurderingspanelet.

Registrerede mønstre

Mønstre identificerer specifikke anti-mønstre eller manglende bedste praksis i en agents konfiguration. Værktøjet tjekker 18 mønstre i syv kategorier.

Alle 18 mønstre

For hvert fejlramt mønster viser værktøjet, hvilke emner der er påvirket, den aktuelle værdi, der udløste resultatet, en foreslået forbedring og et link til den relevante Microsoft Learn-dokumentation.

Mønsterkategorier

Resultatgitteret grupperer mønstre i syv kategorier i følgende rækkefølge:

Alvorlighedslogik

Kombinationen af nøgleord, der matcher, og emneantal bestemmer mønsterets alvorlighedsgrad:

Alvorligheden styrer både det visuelle mærke i resultatgitteret og SARIF-fejlniveauet i den eksporterede rapport.

Overholdelseskriterier

Denne del af vurderingen evaluerer kvaliteten af en agents systeminstruktioner – den naturlige tekst, som en udvikler leverer i Copilot Studios Generative indstillinger. Disse instruktioner definerer, hvordan agenten opfører sig i alle samtaler.

De 15 kriterier stammer fra Microsofts vejledning om generativ tilstand og repræsenterer de mest effektive bedste praksisser for undervisningskvalitet.

Alle 15 kriterier

Kategoriopdeling

Hvordan scores beregnes

Alle scores er på en skala fra 0-100 og er deterministiske. De samme input giver altid samme score.

Mønsterscore

Pattern Score = (Passed Patterns / Total Patterns) × 100

• Samlede mønstre = 10 deterministiske + hvor mange AI-registrerede mønstre der returneres (op til 8).
• Godkendte mønstre = optælling, hvor mønsterstatussen er pass.
• Resultatet afrundes til nærmeste heltal.

Eksempel: 15 mønstre i alt, 12 bestået = Mønsterscore på 80.

Instruktionsscore

Instruktionsscoren bruger et vægtet pointsystem baseret på den iboende sværhedsgrad af hvert kriterium:

Instruction Score = (Earned Points / 35) × 100

• For hvert af de 15 kriterier tilføjes de indbyggede alvorlighedspoint, hvis der ikke konstateres nogen fejl i forbindelse med det pågældende kriterium.
• Hvis "manglende instruktioner" opdages, opfyldes ingen kriterier, og scoren er 0.
• Resultatet fastgøres til 100 og afrundes til det nærmeste heltal.

Eksempel: 3 høje og 2 mellemstore kriterier godkendes ikke:

• Opnåede point: (4 × 3) + (4 × 2) + (2 × 1) = 12 + 8 + 2 = 22 point.
• Score = (22 / 35) × 100 = 63.

Samlet score

Overall Score = (Pattern Score × 0.5) + (Instruction Score × 0.5)

Begge dimensioner har lige stor vægt. Hvis der kun er én dimension til rådighed (for eksempel hvis der ikke findes nogen instruktioner), anvendes denne dimensions score direkte.

Vejledning til scorefarve og -mærkat

Gennemse resultater

Når gennemgangen er afsluttet, viser bedømmelsespanelet resultaterne. Panelet har tre faner.

Fanen Oversigt

Fanen Oversigt giver dig et overordnet overblik:

• Samlet score: En cirkulær måler i grøn, rav eller rød.
• Mønsterscore og instruktionsscore side om side.
• Agentmetadata: Navn, miljø, sprog, godkendelsestilstand og AI-indstillinger.
• AI-genereret resumé: En naturlig beskrivelse af de mest betydningsfulde resultater.
• Vurderingstidsstempel og datakilde (live miljø eller ZIP-upload).

Fanen Mønstre

Fanen Mønstre viser hele gitteret med alle 18 evaluerede mønstre med disse kolonner:

Du kan sortere gitteret efter enhver kolonne. Som standard vises fejlmønstre først, sorteret efter sværhedsgrad (Høj og derefter Mellem og Lav).

Fanen Overholdelse af angivne standarder

Fanen Overholdelse af angivne standarder viser alle 15 instruktionskriterier:

Detaljeret oversigt over mønsteret

Når du vælger Detaljer på et mislykket mønster, åbner panelet Mønsterdetaljer . Det viser:

• Mønsternavn og beskrivelse: Hvad dette mønster tjekker.
• Hvorfor det er vigtigt: Effekten af dette anti-mønster for agentkvaliteten.
• Tabel over berørte emner: Hvert emne med dets nuværende værdi og AI'ens foreslåede erstatning.
• Anbefaling: En konkret handling for at løse problemet.
• Læs mere: Et direkte link til den relevante Microsoft Learn-dokumentation.

Detaljeret oversigt over overholdelse

Når du vælger Detaljer om et fejlramt overholdelseskriterium, åbnes panelet Detaljer om overholdelse . Det viser:

• Kriteriums navn, kategori og alvorlighedsgrad
• Hvad kriteriet tjekker: En forklaring på almindeligt dansk sprog
• Specifikt problem fundet: AI'ens analyse af, hvad der mangler eller er forkert
• Anbefaling: Præcist sprog eller mønstre, der skal tilføjes til agentens instruktioner
• Eksempel: Hvor tilgængeligt: Et eksempel på en instruktion, der overholder kravene, hvis det er muligt
• Få mere at vide: Link til den relevante vejledning fra Microsoft Learn

Eksportresultater

Du kan eksportere resultater i tre formater fra vurderingspanelets header.

PDF-rapport

En velformuleret, letlæselig PDF-rapport, der er velegnet til at blive delt med interessenter eller vedlagt en styringsrevision.

Indhold:

• Ledelsesresumé med scorer og nøglemålinger
• Resultater fra mønsterevaluering (status, alvorlighedsgrad og berørte personer)
• Overholdelsesresultater (alle 15 kriterier)
• Anbefalinger for hvert fundet problem
• Agentmetadata (navn, miljø og vurderingsdato)

Filnavnsmønster: {AgentName}_review_{YYYY-MM-DD}.pdf

PDF'en genereres automatisk i slutningen af hver anmeldelse og gemmes i Dataverse sammen med vurderingsoplysningen. Efterfølgende downloads henter den gemte fil uden at gentage analysen.

SARIF-eksport

SARIF (Static Analysis Results Interchange Format v2.1.0) er et JSON-format designet til integration med udviklerværktøjer og CI/CD-pipelines.

Brugsscenarier:

• Upload til GitHub Advanced Security for SARIF-baserede PR-annoteringer
• Importer til Azure DevOps-kvalitetskontrol
• Proces med tredjepartsværktøjer, der bruger SARIF (SonarQube, Visual Studio Code osv.)

Oversigt over struktur:

{
  "version": "2.1.0",
  "runs": [{
    "tool": {
      "driver": {
        "name": "Copilot Studio Agent Review Tool",
        "version": "1.0"
      }
    },
    "results": [
      {
        "ruleId": "pat-007",
        "level": "error",
        "message": { "text": "Excessive Tools Usage: 28 tools exceed the recommended limit of 25" },
        "properties": {
          "category": "Architecture",
          "recommendation": "Reduce tool count to 25 or fewer"
        }
      }
    ]
  }]
}

Tilknytning af alvorlighedsgrader til SARIF-niveauer:

• Høj = "error"
• Medium = "warning"
• Lav = "note"

Filnavnsmønster: {AgentName}_review.sarif

Eksporter til Excel

En Excel-arbejdsbog med flere ark til dataanalyse, rapportering og arkivering.

Overskrifterne med fed skrift og baggrunde i logofarver. Score- og alvorlighedsgradsceller er med grønne, gule eller røde farvekoder. Kolonnebredderne justeres automatisk.

Filnavnsmønster: {AgentName}_review_{YYYY-MM-DD}.xlsx

En dybdegående gennemgang af beskrivende agenter

Beskrivende Microsoft 365-agenter er en anden type agenter end Copilot Studio-agenter. De er defineret udelukkende af en JSON-manifestfil og implementeret i Microsoft 365-økosystemet.

Dette tjekker den beskrivende agent

Vurderingen validerer først manifeststrukturen og kontrollerer, at alle nødvendige felter er til stede, og at skemaet er velformuleret. Derefter kører den en AI-evaluering mod fem kvalitetskriterier og genererer en PDF-rapport. Kontrollen af overholdelsen af de 15 kriterier (der gælder specifikt for Copilot Studio-agenter) gælder ikke her.

De 5 kriterier for vurdering af beskrivende agenter

Kontrol af manifestkvaliteten (lokal validering)

Før den kunstige intelligens kører, validerer en deterministisk sundhedskontrol manifeststrukturen:

• Påkrævede felter til stede (name, description, instructions)
• Kompatibilitet mellem skemaversioner
• Henvisninger til handlings-plugins er gyldige
• Antallet af samtaleemner ligger inden for rammerne (3–12)
• Korrekt udformede erklæringer om kapacitet

Eventuelle fejl i sundhedstjekket vises som problemer i resultaterne af vurderingen af den beskrivende agent, uafhængigt af AI-evalueringen.

Få en beskrivende agent vurderet

Via ZIP-upload (mest almindeligt):

1. Eksporter den beskrivende agent fra dit forfatterværktøj som en ZIP-pakke.
2. Vælg Upload ZIP i sideoverskriften til Agent-gennemgangsværktøjet.
3. Hvis ZIP-filen indeholder flere agenter, kan du via et valgpanel vælge, hvilken du vil gennemgå.
4. Gennemgangen kører automatisk.

Via Microsoft 365-kataloget (kræver opsætning af Graph API):

1. Vælg Opret forbindelse til Microsoft 365 i fanen Microsoft 365-agenter.
2. Fuldfør Graph API-godkendelsesguiden.
3. Dine udsendte beskrivende agenter vises i gitteret Beskrivende agent.
4. Vælg Vurdering ud for enhver beskrivende agent.

Sikkerhed og dataadgang

Dette afsnit beskriver, hvordan Agent-gennemgangsværktøj håndterer sikkerhed og dataadgang.

Datalagring

Alle gennemgangsresultater gemmes i cat_agentreviews Dataverse-tabellen . Hver post opbevarer:

Sikkerhed på rækkeniveau

Tabellen cat_agentreviews anvender læseomfang på brugerniveau (Basic) i Dataverse. Brugere kan kun se vurderinger, de selv har oprettet. En anden brugers vurdering er aldrig synlige – selv ikke i det samme miljø. Dataverse håndhæver denne sikkerhed integreret – ikke applikationskoden.

Kildemiljøer

Brugere kan gennemgå agenter fra miljøer, de har adgang til – ikke kun det nuværende miljø. Dashboardet understøtter vurderinger til flere miljøer via miljøvælgeren. Anmeldelser fra andre miljøer er tagget med kilde-miljøets URL, så de vises korrekt, når værktøjet indlæses.

Anmeldelser fra en ZIP-upload vises altid, uanset hvilket miljø værktøjet er forbundet til.

Hvilke data der forlader miljøet

• Agentens konfiguration (emner, værktøjer og instruktioner) sendes til AI-modellerne via Dataverse PredictV2. Dette følger den almindelige Dataverse AI-modelaktiveringssti og er underlagt de samme dataopbevaringspolitikker som enhver Dataverse AI-handling.
• Der sendes ingen data til tredjepartstjenester eller eksterne slutpunkter.
• Vurderingsresultaterne (inklusive PDF'en) gemmes udelukkende i Dataverse.

Første oplevelse og velkomstrundvisning

Første gang en bruger åbner Agent-gennemgangsværktøj, guider en velkomstrundvisning brugeren gennem de vigtigste dele af grænsefladen:

1. Dashboard-kortene med statistik, og hvad de repræsenterer
2. Sådan læser du agentgitteret
3. Sådan starter du en vurdering
4. Sådan fortolker du resultaterne
5. Eksportindstillingerne

Gennemgangen gemmes i Dataverse, så den gentages ikke, når den er afsluttet. Brugere kan genåbne rundvisningen når som helst i sektionen Hjælp/Hurtige links i sideoverskriften.

Ofte stillede spørgsmål

Dette afsnit omhandler almindelige spørgsmål om Agent-gennemgangsværktøj.

Hvor lang tid tager en vurdering?

En typisk agent med færre end 20 emner bliver vurderet på under 60 sekunder. Værktøjet har en 2-minutters hård timeout. Meget store agenter (mere end 50 emner og mange værktøjer) kan nærme sig grænsen.

Ændrer værktøjet min agent?

Antal Værktøjet er fuldstændig skrivebeskyttet med hensyn til agentdata. Det læser kun agentkonfigurationen. Alt, der skrives, overføres til cat_agentreviews-tabellen .

Kan jeg vurdere en agent igen, når jeg har lavet ændringer?

Ja. Hver vurdering opretter en ny post. Gitteret viser altid den seneste vurdering. Gamle vurderinger forbliver i Dataverse og kan tilgås programmatisk, hvis det er nødvendigt.

Hvad hvis min agent er i et andet miljø?

Brug miljøvælgeren på dashboardet til at pege værktøjet mod et andet miljø, du har adgang til. Vurderingen køres i forhold til dette miljø, og resultatet gemmes i det nuværende miljø.

Kan jeg vurdere agenter, jeg ikke har oprettet?

Ja. Du kan vurdere enhver agent, du har læseadgang til, i Dataverse. Du kan dog kun se vurderinger, du har oprettet (sikkerheden på rækkeniveau). Vurderinger fra andre brugere er ikke synlige.

Hvad er SARIF, og har jeg brug for det?

SARIF er et standardformat for statiske analyseresultater. Du har kun brug for det, hvis du integrerer agentens kvalitetskontrol i en CI/CD-pipeline (GitHub Actions eller Azure DevOps). For de fleste brugere er PDF- og Excel-eksport tilstrækkeligt.

Værktøjet siger, at min agent ikke har nogen instruktioner. Er det et problem?

Ja. Værktøjet viser kun agenter, der har generativ AI aktiveret, så hver agent i gitteret forventes at have instruktioner. Hvis overholdelseskontrollen ikke rapporterer nogen instruktioner, er agentens generative orkestrering aktiv, men der er endnu ikke skrevet systeminstruktioner. Det anbefales kraftigt at tilføje instruktioner.

Hvorfor er Lav alvorlighedsgrad for "Karakter og tone"?

Microsofts vejledning bemærker, at en professionel og høflig tone allerede er standardadfærden for Copilot Studio-agenter. Instruktioner til tone er kun nødvendige, hvis du ønsker en ikke-standard tone. Dette kriterium er lavt, fordi fejl sjældent forårsager problemer for brugere.

Koster det Copilot-kredit at udføre en vurdering?

Ja. Hver vurdering aktiverer AI-modeller tre gange – til mønsterevaluering, instruktionsoverholdelse og PDF-generering. Hver aktivering bruger Copilot-kredit fra din lejer. Nye vurderinger af den samme agent bruger også kredit, så lav dine ændringer først, og udfør vurderingen igen.

Kan jeg eksportere alle vurderinger på én gang?

Ja. Brug knappen Eksporter Alle i agentens gitterværktøjslinje til at generere en Excel-arbejdsbog, der dækker alle vurderede agenter i den aktuelle visning.

Relaterede oplysninger

• Oversigt over Copilot Agent Kit
• Installer Copilot Agent Kit
• Vejledning til generativ tilstand
• Konfigurer agenter i Copilot Agent Kit
• Agentlager i Copilot Studio Kit