Overvåg og analyser en agent (forhåndsvisning)

[Denne artikel er foreløbig dokumentation og kan ændres.]

Fanen Monitor i den nye agentoplevelse giver et overblik over din agents seneste aktivitet og samlede effektivitet på tværs af sessionerne. Nøglemålinger inkluderer samtalesessioner (hvordan din agent håndterede samtaler), brugerengagement (antal beskeder og sessionsvarighed), omkostnings- og besparelsesestimater, samlede reaktioner og svarkvalitet.

Du kan filtrere fanen Monitor for at vise begivenheder, der er sket inden for de sidste 360 dage.

Bemærkning

Funktionerne i denne artikel bruges af agenter eller arbejdsgange drevet af GitHub Copilot-harnesset.

Brugsbaseret fakturering gælder for brug, opbygning, test og evaluering af agenter. Disse handlinger kan forbruge Copilot-kreditter. Lær mere i Administrer omkostninger for agenter drevet af GitHub Copilot-harnesset.

Bemærkning

Fanen Overvåg er utilgængelig, indtil du publicerer din agent. For at gøre den tilgængelig skal du vælge Publicer på fanen Build.

Oversigt

Oversigtspanelet giver overordnede nøgleindikatorer (KPI) for din agent og giver dig et samlet overblik over dens samlede effektivitet. De vigtigste målinger på Oversigtspanelet er:

  • Samtalesessioner: Det samlede antal inkluderer engagerede og uengagerede sessioner.
  • Samlede reaktioner: Det samlede antal reaktioner, brugere gav på agentbeskeder.
  • Gennemsnitligt dagligt aktive brugere: Gennemsnitligt dagligt aktive brugere i den valgte periode.
  • Gennemsnitlige kørselsvarigheder: Den gennemsnitlige tid, det tager for agenten at gennemføre en gennemgang fra start til slut.
  • Samlede runs: Det samlede antal gange agenten blev udløst og kørte i den valgte periode.
  • Succesrate: Procentdelen af gennemløb, der blev gennemført uden fejl i den valgte periode.

Aktive brugere

Aktive brugermålinger giver indsigt i, i hvor høj grad en samtaleagent bliver adopteret, og hvordan det udvikler sig over tid. En aktiv bruger er en entydig bruger, der har interageret med samtaleagenten mindst én gang i rapportens periode. Copilot Studio Monitor-fanen viser antallet af aktive brugere i to foruddefinerede tidsperioder: daglige aktive brugere (DAU) og månedlige aktive brugere (MAU). Det daglige antal starter og slutter i henhold til en fuld 24-timers dag i UTC-tidszonen. Det månedlige antal følger kalendermåneden, der også starter og slutter på de første og sidste dage i henhold til UTC-tidszonen.

Vigtigt!

Funktionen Active user metrics understøttes kun, hvis du sætter din agent til at kræve autentificering under Settings>Safety & access>Authentication.

Den gennemsnitlige DAU for den valgte periode plus dens procentvise ændring fra den forrige periode vises som en KPI (Key Performance Indicator) i afsnittet Oversigt .

Bemærkning

Formlen for den gennemsnitlige BEREGNEDE DAU-metrikværdi er: (sum of all full-day active user counts in the period) / (count of full days in the period).

Hvis du vil se flere oplysninger om antallet af aktive brugere dagligt og månedligt, efterhånden som de tendenser over tid, skal du vælge knappen Se aktive brugere i øverste højre hjørne af oversigtspanelet.

Fakturering

På Monitor-siden for din agent viser Oversigtspanelet din agents samlede fakturerede Copilot-kreditter for den valgte periode. Hvis du vil have vist flere oplysninger om faktureringsoplysningerne, skal du vælge Se fakturering. Denne markering åbner et sidepanel i faktureringstrenddiagrammet, som viser ændringerne i din agents fakturerede Copilot Credits over den valgte periode. Peg på punkter i diagrammet for at se antallet af Copilot-kreditter.

Det tager et par timer at opdatere analysedataene med nye fakturerede Copilot-kreditter, så du kan muligvis ikke se data om den seneste aktivitet.

Besparelser

Brug opsparingspanelet til at estimere, hvor meget tid og penge din mægler sparer. Brug spareberegneren til at beregne dine besparelser pr. kørsel eller til at beregne besparelserne på et eller flere af de værktøjer, som din agent bruger. Hvis der er et tomt opsparingspanel uden beregnede målinger, vælg Beregn opsparing.

Skærmbillede af opsparingsberegnerens dialog med Per run valgt og Per værktøjsmulighed.

Vælg enten Per run eller Per værktøj.

Reaktioner

Afsnittet Reaktioner viser brugerfeedback, der er indsamlet fra reaktioner på agentsvar. Diagrammet tæller antallet af gange, brugerne har valgt enten knappen tommel op (positiv) eller tommel ned (negativ), der er tilgængelige for hvert svar, de har modtaget fra din agent.

Respons-reaktionsdiagrammet.

Bemærkning

  • Agenter, der er publiceret til Microsoft 365 Copilot-kanalen, understøtter ikke reaktioner.
  • Hvis du vil have vist kommentarer, skal du have sikkerhedsrollen Robot transskriptionsfremviser.

Funktionen Reaktioner er som standard slået til . Du kan slå det fra, hvis det er nødvendigt. Du kan også tilføje eller redigere en ansvarsfraskrivelse til brugere om, hvordan deres feedback bruges:

  1. Åbn din agent, vælg Indstillinger, og vælg derefter fanen Sikkerhed og adgang .

  2. Slå brugerfeedbacken enten til ellerfra.

Brugere med rettigheden Bot Transskriptionsfremviser kan analysere ned til agentsvar for individuelle reaktioner og filtrere efter brugerkommentarer.

For at se reaktionstendenser over tid, vælg Se detaljerReaktions-flisen for at åbne sidepanelet Reaktioner . Panelet viser, hvor positive og negative reaktioner (fra tommel op og tommel ned) tendens over tid.

Brug af værktøj

Afsnittet Værktøjsanvendelse viser et diagram og målepunkter, der sporer, hvor ofte dine værktøjer startes over tid, og hvor ofte din agent har brugt disse værktøjer korrekt. Den viser også tendensindikatorer for, hvor ofte din agent bruger hvert værktøj, og procentdelen af kaldte værktøjer, der bruges korrekt.

Diagrammet viser de fem øverste værktøjer, der bruges i den datoperiode, der er defineret øverst på siden Analytics .

I forklaringen under diagrammet skal du holde markøren over et af værktøjerne for at fremhæve værktøjet i diagrammet.

Skærmbillede af værktøjet, der bruger graf og målepunkter.

Hvis du vil åbne et sidepanel med en liste over alle de værktøjer, der bruges i den angivne tidsperiode, sammen med tendensindikatorer, skal du vælge Se detaljer i diagrammet. I panelet Værktøjsanvendelse kan du få vist beregninger af procentdelen af spørgsmål, der bruges til hvert værktøj. Hvis din agent har underordnede agenter, kan du vælge at få vist beregninger for både hovedagenten og underordnede agenter (Alle), kun Hovedagenten eller kun Den underordnede agent.