Beoordeel modelwijzigingen met Copilot Agent Kit (preview)

[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]

Modelbeoordeling in Copilot Agent Kit helpt je om te vergelijken hoe een agent presteert vóór en na een modelwijziging. Voer dezelfde tests uit op beide modelversies, bekijk verbeteringen en regressies, en gebruik de resultaten om te beslissen welk model je moet behouden.

Modelbeoordeling ondersteunt twee testmotoren:

Testengine Tests die worden uitgevoerd
Copilot Studio evaluaties Actieve evaluatietestsets met MODELCHECK in de naam
Copilot Agent Kit tests Een Kit-testset uitgevoerd via een pipeline-geactiveerde agentconfiguratie tegen de gepubliceerde agent

Je kunt de resultaten van verschillende testmotoren niet vergelijken omdat de engines verschillende dingen beoordelen.

Prerequisites

Voordat je de modelbeoordelingsfunctie in de Copilot Agent Kit gebruikt, zorg ervoor dat je:

  • Installeer Copilot Agent Kit en deel het met makers.
  • Aan elke gebruiker die assessments uitvoert, is de CSK - Maker of CSK - Administrator beveiligingsrol toegewezen.
  • De Copilot Studio Kit - Dataverse-verbindingsreferentie is verbonden.
  • Er is een Microsoft Copilot Studio-verbinding toegevoegd aan de Copilot Agent Kit - Automated Tests-verbindingsreferentie. De gebruiker van de verbinding moet toegang hebben tot de agents die u wilt beoordelen.
  • Schakel de volgende modelbeoordelingscloudstromen in:
    • Modelbeoordeling | Voer Copilot Studio-evaluaties uit
    • Modelbeoordeling | Voer Copilot Agent Kit-tests uit
  • Er is minstens één ondersteunde testset toegevoegd aan elke agent. Lees meer in Maak een agent geschikt.

Beoordelingsruns gebruiken capaciteit voor agentresponsen en AI-overzichten. Meer informatie in Licenties en Copilot-tegoed.

Note

Copilot Agent Kit-tests worden uitgevoerd tegen de gepubliceerde agent. Copilot Studio-evaluaties vereisen niet dat de agent gepubliceerd wordt.

Modelbeoordeling opzetten

De volgende secties leggen uit hoe je de cloud flows inschakelt, de verbindingsreferenties instelt en een agent in aanmerking komt voor beoordeling.

Schakel de cloudflows in

Om de cloudflows aan te zetten:

  1. Meld u aan bij Power Apps en selecteer de omgeving waarin u Copilot Agentkit hebt geïnstalleerd.
  2. Selecteer in de zijbalk Oplossingen en vervolgens Copilot Agent Kit uit de lijst met oplossingen. De detailspagina opent.
  3. Selecteer aan het einde van de lijst Recente items alles weergeven om alle objecten te bekijken.
  4. Selecteer in het Objecten-paneelCloudstromen.
  5. Zoek naar de volgende cloudflows:
    • Modelbeoordeling | Voer Copilot Agent Kit-tests uit
    • Modelbeoordeling | Voer Copilot Studio-evaluaties uit
  6. Selecteer de drie puntjes (⋮) naast elke cloudflow en selecteer Inschakelen.

Stel de verbindingsreferenties in

Om de verbindingsreferenties in te stellen:

  1. Meld u aan bij Power Apps en selecteer de omgeving waarin u Copilot Agentkit hebt geïnstalleerd.
  2. Selecteer in de zijbalk Oplossingen en selecteer vervolgens Copilot Agent Kit uit de lijst met oplossingen. De detailpagina opent.
  3. Selecteer aan het einde van de lijst Recente items alles weergeven om alle objecten te bekijken.
  4. Selecteer in het Objecten-paneelVerbindingen referenties.
  5. Zoek naar Copilot Studio Kit - Dataverse en zorg ervoor dat deze een Dataverse-verbinding heeft.
  6. Zoek naar Copilot Agent Kit - Geautomatiseerde tests en zorg dat er een Microsoft Copilot Studio-verbinding is. De gebruiker van de verbinding moet toegang hebben tot de agenten die je wilt beoordelen.

Een agent geschikt maken

Een agent verschijnt in modelbeoordeling wanneer hij ten minste één van de volgende testconfiguraties heeft.

Optie A: Copilot Studio-evaluaties

  1. Open in Copilot Studio de agent en selecteer Evalueren.
  2. Maak een evaluatietestset aan met MODELCHECK in de naam ervan, zoals MODELCHECK - HR policies.
  3. Voeg testcases en beoordelaars toe en houd de testset actief. Alleen actieve MODELCHECK testsets draaien.

Lees meer in Maak een testset voor een agent aan.

Optie B: Copilot Agent Kit tests

  1. In Copilot Agent Kit maakt u een nieuw Agent Configuratierecord aan voor de agent en selecteer Configuratietype(s) als Testautomatisering.
  2. Selecteer het tabblad Algemeen van het configuratierecord en schakel Pipeline ingeschakeld in in de sectie Gepland testen.
  3. Maak een testset aan met tests voor de agent.

Note

Kit-testautomatisering ondersteunt agents die worden aangedreven door de standaard-harness. U kunt agenten die worden aangedreven door de Microsoft Copilot-harness beoordelen met Copilot Studio-evaluaties.

Beoordeel een agent

De volgende secties leggen uit hoe je Model Assessment opent, een baseline-beoordeling uitvoert en resultaten vergelijkt na het wijzigen van het model van de agent.

Selecteer een agent voor modelbeoordeling

Om een agent te selecteren voor modelbeoordeling:

  1. Open de app Copilot Agent Kit.
  2. Selecteer in de zijbalk Geavanceerd testen in het gedeelte Productiviteit . De pagina Advanced Testing wordt geopend.
  3. Selecteer Model assessment. Er wordt een lijst met agenten geopend.
  4. Selecteer een in aanmerking komende agent uit de lijst.

De lijst toont het vorige en huidige model van elke agent, de regressiestatus, de laatste run en de meest recente aantallen passes, failures en fouten. Gebruik de filters om agenten te vinden die aandacht nodig hebben of zoek op agentnaam. Selecteer Agenten verversen om de lijst opnieuw te laden.

Screenshot van de lijst met Model Assessment-agenten met modellen, regressiestatus, meest recente resultaten en filters.

Voer een basisbeoordeling uit

De eerste uitvoering registreert een basislijn voor het huidige model van de agent. Om een baseline-beoordeling uit te voeren:

  1. Selecteer een agent uit de lijst Model Assessment-agenten om het detailpaneel te openen.
  2. Als er geen baseline bestaat, klik op Run.
  3. Wacht tot de evaluatie is voltooid. Je kunt de details sluiten terwijl de run op de achtergrond doorgaat.

Er kan slechts één beoordeling tegelijk voor een agent worden uitgevoerd. Selecteer Beoordeling annuleren om een run te stoppen; een geannuleerde run wordt niet gescoord.

Wijzig het model en voer de beoordeling opnieuw uit

Nadat je een baseline hebt vastgelegd, wijzig je het model van de agent en voer je een nieuwe beoordeling uit.

  1. Selecteer in het paneel met agentgegevens een model uit de Model picker, of verander het model in Copilot Studio.
  2. Als u het model in Copilot Studio hebt gewijzigd, keer dan terug naar Model Assessment in Copilot Agent Kit en bevestig dat de app de wijziging heeft gedetecteerd.
  3. Selecteer Voeruit.

Wanneer u een model selecteert in Model Assessment, slaat de app het op naar de agent. Voor Kit-tests publiceert de app ook de agent omdat tests draaien tegen de gepubliceerde versie. Als het model sinds de laatste uitvoering niet is veranderd, wijzig het dan voordat je opnieuw Uitvoeren selecteert.

De modelgeschiedenis toont de baseline en latere modelwijzigingen. De app registreert een modelwijziging pas nadat een beoordeling foutloos is voltooid. Als een run fouten bevat, pak deze dan aan en voer de beoordeling opnieuw uit.

Screenshot van de agentdetails met de modelpicker en modelgeschiedenis voor een Copilot Agent Kit-testconfiguratie.

Kies de testengine

Als een agent zowel Copilot Studio-evaluaties als Copilot Agent Kit-tests heeft, kies dan welke testengine moet worden uitgevoerd. Voor Kit-tests selecteer je een Agent Configuration en testset. Als er maar één configuratie is, kiest de app die voor je.

Screenshot van de agentgegevens toont de Copilot Agent Kit of Copilot Studio evaluatieselector.

Vergelijk runs en beoordeel resultaten

Om runs te vergelijken en resultaten te bekijken:

  1. Selecteer in de modelgeschiedenis van de agent een voltooide run om het paneel Modelruns vergelijken te openen.

  2. Selecteer maximaal drie voltooide runs. De app toont ze van oudste tot nieuwste.

  3. Bekijk het tabblad Samenvatting voor elk model, runstatus, regressiestatus, testresultaten, Copilot-credits waar beschikbaar, en AI-analyse.

  4. Bekijk het tabblad Testruns voor elke testcase en het resultaat ervan in elke run. Selecteer Heeft aandacht nodig om de lijst te filteren op mislukte of foutresultaten.

  5. Selecteer Export to PDF om de vergelijking te downloaden.

    Venster Modeluitvoering vergelijken waarin een modelaanbeveling wordt weergegeven.

Gebruik de model runs-picker om te wijzigen welke voltooide runs in de vergelijking verschijnen:

Screenshot van de modeluitvoeringspicker om voltooide modelbeoordelingsruns te selecteren om te vergelijken.

De samenvatting bevat een tegel voor elke run, gevolgd door AI-samenvattingen en de modelaanbeveling:

Screenshot van de vergelijkingsoverzicht met modelrunkaarten en AI-samenvattingen.

De app vergelijkt runs alleen wanneer ze dezelfde testengine gebruiken. Als een eerdere run een andere engine gebruikte, kies dan een run van dezelfde soort om te vergelijken.

Screenshot van een vergelijkingsmelding waarin wordt uitgelegd dat runs van verschillende testengines niet met elkaar vergeleken kunnen worden.

De modelaanbevelingskaart verschijnt wanneer je precies twee runs selecteert die dezelfde testengine gebruiken. Het omvat een oordeel, een betrouwbaarheidsniveau, redenen, afwegingen en kanttekeningen. Gebruik de aanbeveling als richtlijn, niet als garantie. Bekijk de individuele testresultaten voordat je beslist welk model je wilt behouden.

In de volgende screenshot geeft de aanbeveling aan dat geen van beide modellen wordt aanbevolen:

Screenshot van de modelaanbeveling die aangeeft dat geen van beide modellen wordt aanbevolen.

In de volgende screenshot geeft de aanbeveling aan dat er geen duidelijke winnaar is:

Screenshot van een modelaanbeveling die aangeeft dat er geen duidelijke winnaar is.

Voor Kit-tests toont de aanbeveling een laag vertrouwen wanneer de vergelijking weinig gedeelde controles heeft:

Screenshot van vergelijking van Copilot Agent Kit testruns met een aanbeveling voor een model met weinig vertrouwen.

Het tabblad Testruns toont elke evaluatietestcase en het resultaat daarvan in de geselecteerde runs:

Screenshot van vergelijkingen van testruns met evaluatietestcases en resultaten over modelruns heen.

Selecteer Vereist aandacht om de lijst te filteren op mislukte of foutresultaten:

Screenshot van testruns die zijn gefilterd naar resultaten die aandacht nodig hebben.

Voor Kit-testruns toont het tabblad elke Kit-test en het resultaat ervan in elke geselecteerde run:

Screenshot van de vergelijking van Copilot Agent Kit testruns met testresultaten over modelruns heen.

Begrijp de regressiestatus

Regressiestatus vat de gescorede resultaten van de huidige run samen.

Regressiestatus Meaning
Healthy Er zijn geen gescoorde controles mislukt
Warning Tot 20 procent van de gescoorde controles faalde na afronding naar beneden
Kritiek Meer dan 20 procent van de gescoorde controles faalden na afronding
Niet beoordeeld Er werden geen controles gescoord

Een controle is één resultaat. Bij Copilot Studio-evaluaties is elke maatstaf voor een testgeval een check. Bij Kit-tests is elke test een controle. Alleen controles met een Geslaagd of Onvoldoende resultaat worden gescoord; fouten, uitgesloten controles en lopende controles worden niet meegeteld in de percentages. Percentages worden naar beneden afgerond tot gehele getallen voordat de status wordt toegewezen.

Een regressie is een controle die in de baseline is geslaagd en faalt in de huidige run. Een controle die in beide runs faalde is een persistent failure, geen regressie. De status houdt zowel rekening met het mislukte controlepercentage in de huidige run als het regressiepercentage ten opzichte van de baseline. Omdat regressies een subset van fouten zijn, mag het regressiepercentage het mislukte controlepercentage niet overschrijden. Bekijk het regressieaantal om te zien wat er ten opzichte van de basislijn is veranderd.

Begrijp Copilot kredietrapportage

Note

Elke Model Assessment-run kost ongeveer 150 Copilot Credits.

  • Voor Copilot Studio-evaluaties registreert Model Assessment Copilot Credits wanneer Copilot Studio deze rapporteert voor een agent op het Microsoft Copilot-harnas. Het gebruik kan credits omvatten voor agentresponsen en evaluatie.
  • Copilot Agent Kit-tests rapporteren geen Copilot-credits in de modelbeoordeling.
  • AI-samenvattingen en aanbevelingen kunnen capaciteit gebruiken, zelfs wanneer een run geen credit totals rapporteert.

Gebruik geen credittotalen om runs van verschillende testengines te vergelijken.

Troubleshooting

Issue Wat u moet controleren
Er staat geen agent vermeld Bevestig dat de agent een actieve MODELCHECK evaluatie of een pipeline-geschikte agentconfiguratie met een testset heeft. Selecteer vervolgens Agenten vernieuwen.
Een beoordeling kan niet starten omdat een flow is uitgeschakeld Schakel de bijbehorende Model Assessment-cloudflow in in de Copilot Agent Kit-oplossing.
Een uitvoering meldt een connectorfout Controleer of beide verbindingsreferenties verbonden zijn en dat de gebruiker van de Copilot Studio-verbinding toegang heeft tot de agent.
Geen evaluatietestset-runs Bevestig dat de naam van de testset MODELCHECK bevat en dat de testset actief is.
Kittests mislukken of verlopen in een time-out Bevestig dat in de agentconfiguratie Pipeline ingeschakeld is, dat de geselecteerde testset tests bevat en dat de agent is gepubliceerd.
De modelwijziging is niet geregistreerd Los fouten in de run op en voer de beoordeling opnieuw uit. De modelgeschiedenis wordt pas bijgewerkt nadat een run zonder fouten is voltooid.
De app meldt dat het model niet is veranderd Verander het model in Model Assessment of Copilot Studio, en voer vervolgens de beoordeling uit.