Een agent evalueren (preview)

[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]

Het tabblad Evalueren in de nieuwe agentervaring biedt gestructureerde, herhaalbare tests voor uw agent. Gebruik evaluaties om de kwaliteit van agenten te meten over testcases heen, verbeterden in de tijd te volgen en het gedrag van je agent te valideren voordat je het publiceert.

Important

Wat is agentenevaluatie?

Met agentevaluatie kunt u de reacties van uw agent systematisch testen aan de hand van kwaliteitsnormen. In plaats van elk scenario handmatig te testen in het tabblad Preview , maak je evaluaties met testgesprekken, definieer hoe je antwoorden moet meten en voer je de evaluaties uit om kwantitatieve resultaten te krijgen.

Evaluatie helpt je vragen zoals deze te beantwoorden:

  • Reageert de agent correct in een reeks verwachte scenario's?
  • Heeft een configuratiewijziging de kwaliteit van de reacties verbeterd of verslechterd?
  • Gebruikt de agent hulpmiddelen wanneer dat nodig is?

Belangrijke concepten

De volgende concepten zijn essentieel bij het uitvoeren van evaluaties in Copilot Studio:

Gesprekken

Een gesprek is een testcase die een scenario vertegenwoordigt dat u door uw agent wilt laten afhandelen. Elk gesprek bevat gebruikersberichten en optioneel verwachte reacties van de agent. Breng gesprekken onder in evaluaties. Maak gesprekken handmatig aan, genereer ze met AI, of upload ze vanuit een CSV-bestand.

Evaluations

Een evaluatie is een benoemde testset die gesprekken combineert met een testmethode. U maakt evaluaties aan via het tabblad Evalueren, voegt er gesprekken aan toe en voert ze vervolgens uit om gescoorde resultaten te genereren.

Testmethodes

Testmethoden definiëren hoe de antwoorden van de agent worden gescoord. Momenteel is de enige beschikbare testmethode General quality, een AI-gebaseerde beoordeling van of antwoorden voldoen aan kwaliteitsnormen, zoals relevantie en volledigheid.

Notitie

De testmethode Algemene kwaliteit vergelijkt antwoorden niet met verwachte antwoorden.

Gebruikersprofiel

Evaluaties en verbindingen die door tools worden gebruikt, worden uitgevoerd door tools die worden uitgevoerd met het momenteel ingelogde gebruikersprofiel. Je kunt niet met een andere gebruiker verbinden terwijl je bent ingelogd. Om een evaluatie als een andere gebruiker uit te voeren, log je uit, log je in met het account van die gebruiker en start je vervolgens de evaluatie.

Kredietgebruik

Evalueer het geschatte gebruik van Copilot Credit gedurende het testproces, zodat je de kosten van de testkwaliteit kunt begrijpen voordat je grotere testsuites uitvoert. Je kunt zien welke ervaringen credits gebruiken, een geschat totaal per evaluatie, een uitsplitsing tussen het genereren en scoren van antwoorden, en het kredietgebruik op het niveau van de individuele testcase. Lees meer in Inzicht in geschat kredietverbruik.

Evaluatieproces

Volg deze stappen om een makelaar te beoordelen:

  1. Een evaluatie maken: Start een nieuwe evaluatie op het tabblad Evalueren. Lees meer in Maak een testset voor een agent aan.
  2. Gesprekken toevoegen: Voeg testgesprekken toe door ze handmatig te schrijven, te genereren met AI of een CSV-bestand te uploaden.
  3. Configureer: Noem de evaluatie, kies een testmethode en kies de agentversie.
  4. Voer de evaluatie uit: Selecteer Evalueren om de test uit te voeren en wacht op de resultaten. Lees meer in Voer een evaluatie uit voor een makelaar.
  5. Resultaten bekijken: Analyseer de scores en identificeer verbeterpunten. Lees meer in Bekijk evaluatieresultaten voor een makelaar.
  6. Herhaal: Pas de instructies, kennis of tools van je makelaar aan en voer vervolgens de evaluatie opnieuw uit om de impact te meten.

Limitations

Evaluaties ondersteunen alleen agents die zijn ingesteld op Geen authenticatie of Authenticatie met Microsoft. Agenten die zijn ingesteld op Handmatig verifiëren worden niet ondersteund.

  • Laatst bijgewerkt om