Overvåk effektiviteten til konversasjonsagenter

Bruk Overvåk-siden i Copilot Studio til å gjennomgå effektiviteten til samtaleagenten din på tvers av analyseøkter. Identifiser hvor samtaler lykkes eller svikter, gjennomgå brukertilbakemeldinger, og finn muligheter til å forbedre svar og bruk av verktøy.

Se gjennom følgende områder:

• Områdene Sammendrag, Oversikt og Besparelser viser viktige innsikter, nøkkelindikatorer (KPI-er) og estimerte tids- og kostnadsbesparelser.
• Seksjonen for egendefinerte måleparametere (forhåndsvisning) lar deg definere forretningsspesifikke måleparametere for agentens brukstilfeller.
• Effektivhet-delen hjelper deg med å evaluere kvaliteten på brukeropplevelsene ved å vise hvor samtalene lykkes, hvor de bryter sammen, og hvordan brukerne føler for resultatene.
• Bruk-delen hjelper deg med å forbedre driftsytelsen ved å vise hvor godt agenten svarer på spørsmål, hvor pålitelig verktøy og kunnskapskilder støtter disse svarene, og hvor målrettede oppdateringer kan øke dekningen og konsistensen.

Du kan vise analyser for hendelser som har skjedd de siste 360 dagene.

Egendefinerte måledata (forhåndsvisning)

[Denne delen er forhåndsutgavedokumentasjon og kan bli endret.]

Med delen Egendefinerte måledata kan du definere opptil tre forretningsspesifikke måledata på naturlig språk og spore hvor ofte hvert resultat vises på tvers av eksempeløkter. Bruk disse måledataene til å utfylle din standard analyseinnsikt med indikatorer som gjenspeiler agentens mål og forretningsbruk.

Brukere med privilegiet Bot Transcript Viewer kan gå til detaljvisning av en liste over kundesesjoner filtrert basert på det valgte segmentet i donut-diagrammet. Velg en individuell sesjon for å se begrunnelsen bak metrikken og få tilgang til transkripsjonen.

Lær mer om å opprette, teste og justere måleverdier i Overvåk agenten din med egendefinerte måledata (forhåndsversjon).

Effektiviteten

Effektivhet-delen viser tilbakemeldinger fra brukere som er hentet fra reaksjoner, agentsvar, undersøkelsesresultater og sentimentpoengsum for en økt. Effektiviteten deles på tvers av mange underseksjoner:

• Samtaleutfall: Når du vet sluttresultatet av en samtale, kan du begynne å identifisere hvor agenten lykkes og hvor den trenger forbedring.
• Reaksjoner: Brukersvar inkludert tommel opp/tommel ned tilbakemelding og brukerkommentarer for bestemte agentsvar.
• Kundetilfredshet: Visning av kundetilfredshet (CSAT)-poengsum.
• Sentiment (forhåndsvisning): En AI-basert sentimentanalyse for hele økten.
• Agenter: Se måledata for anropsvolum, suksessrater og gjeldende status for underordnede og tilkoblede agenter.

Systemet lagrer tilbakemeldingsdata i samtaletranskripsjonstabellen i Dataverse.

Samtaleresultater

Samtaleresultater-seksjonen viser et diagram som sporer typen resultat for hver økt mellom agenten din og brukerne.

Diagrammet viser et stablet histogram eller et stablet områdediagram over sesjonsresultater. Løst, Eskalert, Avbrutt og Uengasjert har hver sin tilsvarende farge i legenden. Y-aksen angir antall økter.

For å se måleparametere for et utfall på en bestemt dag, bruk diagramlegenden for å identifisere utfallet, og hold deretter musepekeren over segmentet for den dagen.

For å laste ned data om samtaleutfall, åpne diagrammenyen og velg Last ned CSV.

For å åpne et sidepanel med detaljert informasjon om samtaleresultater, velg Se detaljer i diagrammet. Samtaleresultater-sidepanelet inkluderer:

• En sektordiagramfordeling av økt-utfall, som viser relativ vekting (uttrykt som en prosentandel) av Løst, Eskalert, og Forlatt-utfall.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av Løst bekreftet og Løst implisitt resultatårsaker som beskriver alle resultater av løste økter.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av System beregnet, Utilsiktet system, og Brukerforespurt utfallsårsaker som beskriver alle utfall av eskalerte økter.
• De viktigste temaene som førte til hvert resultat.

En sesjon faller inn i en av følgende to moduser:

• Ikke engasjert: En økt starter når en bruker samhandler med agenten, eller når agenten sender en melding til brukeren. Økten starter i en ikke-engasjert tilstand.

• Engasjert: Brukeren samhandler aktivt med agenten. Det er en forskjell i atferd basert på agentens orkestreringsmodus.

  • Klassisk orkestrering: En økt blir aktivert når et av følgende emner utløses:

    • Egendefinert emne direkte utløst av brukeren
    • Heve saken
    • Tilbakefallsemne
    • Samtalefremmende emne

  • Generativ AI-orkestrering: En økt blir engasjert når en bruker direkte utløser en plan og inneholder ett av følgende elementer:

    • Ikke-systememne
    • Heve saken
    • Tilbakefallsemne
    • En kunnskapskilde
    • Et verktøy

En engasjert økt har ett av følgende resultater:

Du kan også angi resultatet for verktøy med parameteren conversationOutcome ved hjelp av redigeringsprogrammet for verktøykode. For eksempel conversationOutcome: ResolvedConfirmed for bekreftet suksess eller conversationOutcome: ResolvedImplied for underforstått suksess.

Reaksjoner

Reaksjoner-delen viser tilbakemeldinger fra brukere som er hentet fra reaksjoner på agentsvar. Diagrammet teller hvor mange ganger brukere valgte enten tommel opp (positiv) eller tommel ned (negativ) for hvert svar de fikk fra agenten din.

Reaksjonsfunksjonen er på som standard for alle kanaler unntatt Microsoft Copilot-kanalen. Du kan deaktivere denne funksjonen hvis du vil. Du kan også legge til eller redigere en ansvarsfraskrivelse for brukere om hvordan tilbakemeldingen deres brukes:

1. Åpne agenten, gå til Innstillinger, og finn brukertilbakemeldingsseksjonen .

2. Slå samle inn brukerreaksjoner på agentmeldinger enten på eller av.

3. Legg til eller rediger en ansvarsfraskrivelse, slik at brukerne vet hvordan tilbakemeldingen brukes. Du kan også gi informasjon og tips om personvern.

Brukere med Bot Transcript Viewer-rettigheten kan drille ned til agentsvar for individuelle reaksjoner og filtrere etter brukerkommentarer.

Se reaksjonstrender over tid

Velg Se detaljer på reaksjonsflisen for å åpne reaksjonssidepanelet . Panelet viser hvordan positive og negative reaksjoner (fra Tommel opp og Tommel ned) trend over tid.

Kundetilfredshet

Delen Kundetilfredshet viser informasjon om brukertilfredshet basert på resultater fra brukerundersøkelser:

• Tilfredshetspoengsum: En poengsum på 5 beregnet ut fra gjennomsnittlig kundetilfredshet (CSAT) score for økter der brukerne svarte på forespørsler om slutt på økten for å ta en undersøkelse.

  Bemerkning

  Poengsummene 1 og 2 tilordnes til Misfornøyd, en poengsum på 3 anses Nøytral, og poengsummene 4 og 5 tilordnes til Fornøyd.

• Tilfredshet per økt: Et stablet stolpediagram som visualiserer den relative vektingen for hver av undersøkelsens poengkategorier, nemlig Dissatisfied, Neutral, og Satisfied. Hold musepekeren over hvert segment av diagrammet for å se størrelsen på utvalget og den numeriske verdien av vektingen av hver scorekategori. For brukere med Bot Transcript Viewer-rettigheten kan du drille ned til en liste over kundeøkter filtrert basert på delen av det valgte stolpesegmentet.

Velg Se detaljer for å vise tilfredshetsresultattrenden over den valgte tidsperioden.

Sentiment (forhåndsvisning)

[Denne delen er forhåndsutgavedokumentasjon og kan bli endret.]

Sentimentanalyse bruker KUNSTIG intelligens til å analysere brukermeldinger fra et utvalg av økter for å evaluere en generell brukersentiment for agenten. Den numeriske verdien representerer prosentandelen økter med negativ brukerstemning.

Velg Se detaljer for å vise sentimentdataene for relativ vekting for hver av sentimentkategoriene (er Positive, Neutralog Negative).

Du kan aktivere og deaktivere sentimentanalyse for agenten din under Innstillinger. Når sentimentanalyse er deaktivert, analyseres ikke brukersentiment under økter.

1. Gå til Innstillinger , og velg Avansert.

2. Slå av eller på Sentiment Analysis.

   

Agenter

Listen Agenter viser volum- og ytelsesdata på høyt nivå for tilkoblede og underordnede agenter for hovedagenten. Listen identifiserer relasjonstypen den oppførte agenten har til hovedagenten i kolonnen Type. Hvis en agent er en underordnet agent, er typen Child. Tilkoblede agenter har en listetype som gjenspeiler hvor de ble opprettet (for eksempel Copilot Studio, Azure AI Foundry). Måledataene Anrop for hver oppførte agent beskriver volumet av anrop fra hovedagenten til den tilkoblede eller underordnede agenten. Suksessraten gjenspeiler andelen kall (som prosent av alle anrop) som er fullført. Status angir den individuelle administrative statusen for hver tilkoblet og underordnet agent.

Som standard viser agentlisten de fem mest tilknyttede og barneagentene til din hovedagent, rangert fra høyest til lavest totalt antall spørsmål. Hvis det er mer enn fem agenter, velger du Se alle for å vise alle agenter.

Bruk

Bruk-delen hjelper deg med å forstå hvordan brukere samhandler med agenten din og hvor du kan forbedre påliteligheten til svar. Bruk deles på tvers av mange underseksjoner:

• Temaer: Temaer hjelper deg med å få analyseinnsikt ved å gruppere brukerspørsmål i ai-foreslåtte kategorier.
• Generert svarrate og kvalitet: Identifiser når agenten din sliter med å svare på spørsmål, og hvordan den bruker kunnskapskilder for å forbedre svarprosenten og kvaliteten.
• Verktøybruk: Lære hvor ofte verktøy brukes, og hvor ofte de lykkes, kan hjelpe deg med å forstå om disse verktøyene er nyttige og vellykkede for brukerne.
• Kunnskapskildebruk: Å lære hvor ofte individuelle kunnskapskilder brukes, og hvor ofte de returnerer feil, hjelper deg med å forbedre kvaliteten og dekningen av agentens svar.

Generert svarrate og kvalitet

Med generative svar kan agenten din bruke AI til å generere svar på brukerhenvendelser ved å bruke kunnskapskilder og instruksjonene du gir. Det kan imidlertid hende at agenten ikke kan svare på alle brukerspørringer. Delen Generert svarfrekvens og kvalitet sporer, organiserer og analyserer ubesvarte spørringer og svarkvalitet for å gi deg veiledning for å forbedre agentens svarytelse.

Svarfrekvensen viser antall besvarte og ubesvarte spørsmål i den valgte tidsperioden og prosentvis endring over tid.

Svarkvalitet måler kvaliteten på svarene ved hjelp av KUNSTIG INTELLIGENS. Copilot Studio analyserer et utvalg av besvarte spørsmål for fullstendighet, relevans og forankring. Hvis et svar oppfyller en fast standard, merker Copilot Studio det som god kvalitet. Svar som ikke oppfyller denne standarden merkes som Dårlig kvalitet. For dårlige svar tildeler Copilot Studio en årsak til kvalitetsvurderingen og viser prosentandelen svar som er tildelt hver kategori.

Hold musepekeren over et hvilket som helst segment av en søyle i diagrammet for å se den relative vektingen av en individuell årsak for enten en God eller Dårlig kvalitetsmerke. Verktøytipset indikerer også antall svar som er samplet for å komme frem til den beregnede prosentverdien.

I forklaringen under diagrammet holder du musepekeren over en av årsakene til kvalitetsetiketten for å fremheve den i diagrammet.

Velg et segment i stolpediagrammet for å åpne en side med brukerspørsmål som er filtrert etter denne svarkvaliteten. Velg Se spørsmål for å se en ufiltrert liste over alle spørsmål innenfor den konfigurerte tidsperioden.

Bruk av verktøy

Delen Verktøybruk viser et diagram og måledata som sporer hvor ofte verktøyene starter over tid, og hvor ofte agenten din bruker disse verktøyene. Den viser også trendindikatorer for hvor ofte agenten din bruker hvert verktøy og prosentandelen av kalt verktøy som brukes.

Diagrammet viser de fem viktigste verktøyene som ble brukt i løpet av datoperioden definert øverst på Monitor-siden .

I tegnforklaringen under diagrammet, hold musepekeren over et av verktøyene for å markere det verktøyet i diagrammet.

Hvis du vil åpne et sidepanel med en liste over alle verktøyene som brukes i den angitte tidsperioden, velger du Se detaljer i diagrammet sammen med trendindikatorer. På panelet Verktøybruk kan du vise beregninger av prosentandelen av spørsmål som brukes for hvert verktøy. Hvis agenten din har underordnede agenter, kan du velge å vise beregninger for både hovedagenten og underordnede agenter (alle), bare hovedagenten eller underordnet agent.

Bruk av kunnskapskilder

Kunnskapskildebruksdelen gir innsikt i hvordan agenten din bruker kunnskapskildene og hvor ofte disse kildene returnerer feil. Lær mer om bruk av kunnskapskilder.