Valvo ja analysoi agenttia (esikatselu)

[Tämä artikkeli on esijulkaisuasiakirja, ja se voi muuttua.]

Uuden agentin kokemuksen Monitor-välilehti tarjoaa kuvan agenttisi viimeaikaisesta toiminnasta ja kokonaistehokkuudesta istuntojen välillä. Keskeisiä mittareita ovat keskustelusessiot (miten agenttisi käsitteli keskusteluja), käyttäjien sitoutuminen (viestien määrä ja sessioiden kesto), kustannus- ja säästöarviot, kokonaisreaktiot sekä vastausten laatu.

Voit suodattaa Monitor-välilehden näyttämään viimeisen 360 päivän aikana tapahtuneet tapahtumat.

Note

Tämän artikkelin ominaisuuksia käyttävät agentit tai työnkulut, joita ohjaavat GitHub Copilot -valjas.

Käyttöperusteinen laskutus koskee agenttien käyttöä, rakentamista, testausta ja arviointia. Nämä toiminnot saattavat kuluttaa Copilot-krediittejä. Lue lisää kohdasta Hallinnoi kustannuksia agenteille, jotka toimivat GitHub Copilot -valjastuksen avulla.

Note

Seuraaminen-välilehti on käytettävissä vasta, kun agentti on julkaistu. Jos haluat määrittää sen saataville, valitse Luominen-välilehdellä Julkaise.

Yleiskatsaus

Yleiskatsauspaneeli tarjoaa korkean tason keskeiset suorituskykymittarit (KPI) agentillesi ja antaa kokonaiskuvan sen kokonaistehokkuudesta. Yleiskatsauspaneelin keskeiset mittarit ovat:

  • Keskustelusessiot: Kokonaismäärä sisältää sekä sitoutuneita että ei-sitoutuneita sessioita.
  • Kokonaisreaktiot: Käyttäjien antamien reaktioiden kokonaismäärä agenttiviesteihin.
  • Keskimääräiset päivittäiset aktiiviset käyttäjät: Keskimääräiset päivittäiset aktiiviset käyttäjät valitun ajanjakson aikana.
  • Keskimääräiset juoksukesto: Keskimääräinen aika, joka agentin kuluu suorittaa suoritus alusta loppuun.
  • Ajokertojen kokonaismäärä: Kuinka monta kertaa agentti käynnistyi ja suoritettiin valitun ajanjakson aikana.
  • Onnistumisprosentti: Prosenttiosuus suorituksista, jotka suoritettiin onnistuneesti ilman virheitä valitun jakson aikana.

Aktiiviset käyttäjät

Aktiiviset käyttäjämittarit antavat näkökulmaa siihen, kuinka laajasti keskusteluagentti otetaan käyttöön ja miten se kehittyy ajan myötä. Aktiivinen käyttäjä on ainutlaatuinen käyttäjä, joka oli vuorovaikutuksessa keskusteluagentin kanssa vähintään kerran raportin voimassaoloaikana. Copilot Studio Monitor -välilehti näyttää aktiivisten käyttäjien määrän kahdelta ennalta määritellyltä ajanjaksolta: päivittäiset aktiiviset käyttäjät (DAU) ja kuukausittaiset aktiiviset käyttäjät (MAU). Päivittäinen määrä alkaa ja päättyy UTC-aikavyöhykkeen täyden 24 tunnin päivän mukaan. Kuukausittainen määrä seuraa kalenterikuukautta, ja se myös alkaa ja päättyy ensimmäisenä ja viimeisenä päivänä UTC-aikavyöhykkeen mukaan.

Important

Aktiivisen käyttäjän mittaritoiminto on tuettu vain, jos asetat agentin vaatimaan todennuksen Asetuksista>, Turvallisuus ja Pääsy>Tunnistautuminen.

Valitun kauden keskimääräinen DAU ja sen prosenttimuutos edellisestä kaudesta näkyvät suorituskykyilmaisimena Yleiskatsaus-osassa .

Note

DAU:n lasketun keskiarvon kaava on seuraava: (sum of all full-day active user counts in the period) / (count of full days in the period).

Jos haluat lisätietoja aktiivisten käyttäjien päivittäisestä ja kuukausittaisesta lukumäärästä niiden trendinä ajan mittaan, valitse Näytä aktiiviset käyttäjät -painike yleiskatsauspaneelin oikeassa yläkulmassa.

Laskutus

Agenttisi Monitor-sivulla Yleiskatsauspaneeli näyttää agenttisi kokonaislaskutetut Copilot-krediitit valitulta ajanjaksolta. Jos haluat tarkastella lisätietoja laskutustiedoista, valitse Näytä laskutus. Tämä valinta avaa laskutustrendikaavion sivupaneelin, joka näyttää agenttisi laskutettujen Copilot-krediittien muutokset valitun ajanjakson aikana. Pidä hiiren osoitinta kaavion pisteiden päällä, jotta näet Copilot-saldojen määrän.

Analytiikkatietojen päivittyminen uusien laskutetun Copilot-saldojen päivittymiseen kestää muutaman tunnin, joten et välttämättä näe tietoja viimeisimmästä toiminnasta.

Säästöt

Käytä säästöpaneelia arvioidaksesi, kuinka paljon aikaa ja rahaa välittäjäsi säästää. Säästölaskurin avulla voit arvioida säästöt suoritusta kohti tai laskea yhden tai useamman käyttämän työkalun säästöt. Jos Säästöt-paneeli on tyhjä, eikä laskettuja mittareita näy, valitse Laske säästöt.

Kuvakaappaus säästölaskurin valintaikkunasta, jossa on valittuna Per run ja Per tool -vaihtoehto.

Valitse joko Per run tai Per tool -työkalu.

Reaktiot

Reaktiot-osiossa näytetään palautetta, joka on kerätty reaktioista agenttivastauksiin. Kaaviossa lasketaan, miten monta kertaa käyttäjät valitsivat Peukku ylös (positiivinen)- ja Peukku alas (negatiivinen) -painikkeet, jotka ovat saatavilla kaikissa agentilta saaduissa vastauksissa.

Vastereaktioiden kaavio.

Note

  • Microsoft 365 Copilot -kanavalle julkaistut agentit eivät tue reaktioita.
  • Kommenttien tarkasteleminen edellyttää botin transkription tarkastelijan käyttöoikeusroolin.

Reaktiot-ominaisuus on oletusarvoisesti käytössä . Voit sammuttaa sen tarvittaessa. Voit myös lisätä käyttäjille ilmoituksen palautteen käytöstä tai muokata sitä seuraavasti:

  1. Avaa agenttisi, valitse Asetukset ja valitse sitten Turvallisuus- ja käyttöoikeusvälilehti .

  2. Kytke käyttäjäpalautepäälle tai pois.

Käyttäjät, joilla on Bot Transcript Viewer -oikeus, voivat porautua yksittäisten reaktioiden agentin vastauksiin ja suodattaa käyttäjien kommenttien mukaan.

Nähdäksesi reaktiotrendit ajan kuluessa, valitse Näytä tiedot Reaktiot-ruudusta avataksesi Reaktiot-sivupaneelin . Paneelista näet, miten positiiviset ja negatiiviset reaktiot ( peukalo ylös- ja peukalo alas) -trendit ajan mittaan.

Työkalujen käyttö

Työkalun käyttö -osiossa näytetään kaavio ja mittausarvot, jotka seuraavat, kuinka usein työkalut käynnistetään ajan kuluessa ja kuinka usein agenttisi käytti näitä työkaluja onnistuneesti. Osa sisältää myös trendi-ilmaisimia, jotka osoittavat, miten usein agentti käyttää kutakin työkalua sekä kutsuttujen työkalujen onnistuneen käytön prosenttiosuuden.

Kaaviossa näkyvät viisi parasta työkalua, joita on käytetty analytiikkasivun yläreunassa määritetyn päivämäärän aikana.

Kun osoitinta pidetään kaavion alapuolella olevassa selitteessä työkalujen päällä, kyseinen työkalu korostuu kaaviossa

Näyttökuva työkalun käytön kaaviosta ja mittareista.

Jos haluat avata kaikkien määritetyllä ajanjaksolla käytettyjen työkalujen luettelon ja trendi-ilmaisimet sisältävän sivupaneelin, valitse kaaviossa Näytä tiedot. Työkalun käyttö -paneelissa näkyvät kysymysten prosenttiosuuksien laskelmat kunkin työkalun osalta. Jos agentilla on aliagentteja, voit määrittää näytettäväksi sekä pää- että aliagenttien laskelmat (Kaikki) tai vain pää- tai aliagentin laskelmat.