Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]
Modelbeoordeling in Copilot Agent Kit helpt je om te vergelijken hoe een agent presteert vóór en na een modelwijziging. Voer dezelfde tests uit op beide modelversies, bekijk verbeteringen en regressies, en gebruik de resultaten om te beslissen welk model je moet behouden.
Modelbeoordeling ondersteunt twee testmotoren:
| Testengine | Tests die worden uitgevoerd |
|---|---|
| Copilot Studio evaluaties | Actieve evaluatietestsets met MODELCHECK in de naam |
| Copilot Agent Kit tests | Een Kit-testset uitgevoerd via een pipeline-geactiveerde agentconfiguratie tegen de gepubliceerde agent |
Je kunt de resultaten van verschillende testmotoren niet vergelijken omdat de engines verschillende dingen beoordelen.
Prerequisites
Voordat je de modelbeoordelingsfunctie in de Copilot Agent Kit gebruikt, zorg ervoor dat je:
- Installeer Copilot Agent Kit en deel het met makers.
- Aan elke gebruiker die assessments uitvoert, is de CSK - Maker of CSK - Administrator beveiligingsrol toegewezen.
- De Copilot Studio Kit - Dataverse-verbindingsreferentie is verbonden.
- Er is een Microsoft Copilot Studio-verbinding toegevoegd aan de Copilot Agent Kit - Automated Tests-verbindingsreferentie. De gebruiker van de verbinding moet toegang hebben tot de agents die u wilt beoordelen.
- Schakel de volgende modelbeoordelingscloudstromen in:
- Modelbeoordeling | Voer Copilot Studio-evaluaties uit
- Modelbeoordeling | Voer Copilot Agent Kit-tests uit
- Er is minstens één ondersteunde testset toegevoegd aan elke agent. Lees meer in Maak een agent geschikt.
Beoordelingsruns gebruiken capaciteit voor agentresponsen en AI-overzichten. Meer informatie in Licenties en Copilot-tegoed.
Note
Copilot Agent Kit-tests worden uitgevoerd tegen de gepubliceerde agent. Copilot Studio-evaluaties vereisen niet dat de agent gepubliceerd wordt.
Modelbeoordeling opzetten
De volgende secties leggen uit hoe je de cloud flows inschakelt, de verbindingsreferenties instelt en een agent in aanmerking komt voor beoordeling.
Schakel de cloudflows in
Om de cloudflows aan te zetten:
- Meld u aan bij Power Apps en selecteer de omgeving waarin u Copilot Agentkit hebt geïnstalleerd.
- Selecteer in de zijbalk Oplossingen en vervolgens Copilot Agent Kit uit de lijst met oplossingen. De detailspagina opent.
- Selecteer aan het einde van de lijst Recente items alles weergeven om alle objecten te bekijken.
- Selecteer in het Objecten-paneelCloudstromen.
- Zoek naar de volgende cloudflows:
- Modelbeoordeling | Voer Copilot Agent Kit-tests uit
- Modelbeoordeling | Voer Copilot Studio-evaluaties uit
- Selecteer de drie puntjes (⋮) naast elke cloudflow en selecteer Inschakelen.
Stel de verbindingsreferenties in
Om de verbindingsreferenties in te stellen:
- Meld u aan bij Power Apps en selecteer de omgeving waarin u Copilot Agentkit hebt geïnstalleerd.
- Selecteer in de zijbalk Oplossingen en selecteer vervolgens Copilot Agent Kit uit de lijst met oplossingen. De detailpagina opent.
- Selecteer aan het einde van de lijst Recente items alles weergeven om alle objecten te bekijken.
- Selecteer in het Objecten-paneelVerbindingen referenties.
- Zoek naar Copilot Studio Kit - Dataverse en zorg ervoor dat deze een Dataverse-verbinding heeft.
- Zoek naar Copilot Agent Kit - Geautomatiseerde tests en zorg dat er een Microsoft Copilot Studio-verbinding is. De gebruiker van de verbinding moet toegang hebben tot de agenten die je wilt beoordelen.
Een agent geschikt maken
Een agent verschijnt in modelbeoordeling wanneer hij ten minste één van de volgende testconfiguraties heeft.
Optie A: Copilot Studio-evaluaties
- Open in Copilot Studio de agent en selecteer Evalueren.
- Maak een evaluatietestset aan met
MODELCHECKin de naam ervan, zoalsMODELCHECK - HR policies. - Voeg testcases en beoordelaars toe en houd de testset actief. Alleen actieve
MODELCHECKtestsets draaien.
Lees meer in Maak een testset voor een agent aan.
Optie B: Copilot Agent Kit tests
- In Copilot Agent Kit maakt u een nieuw Agent Configuratierecord aan voor de agent en selecteer Configuratietype(s) als Testautomatisering.
- Selecteer het tabblad Algemeen van het configuratierecord en schakel Pipeline ingeschakeld in in de sectie Gepland testen.
- Maak een testset aan met tests voor de agent.
Note
Kit-testautomatisering ondersteunt agents die worden aangedreven door de standaard-harness. U kunt agenten die worden aangedreven door de Microsoft Copilot-harness beoordelen met Copilot Studio-evaluaties.
Beoordeel een agent
De volgende secties leggen uit hoe je Model Assessment opent, een baseline-beoordeling uitvoert en resultaten vergelijkt na het wijzigen van het model van de agent.
Selecteer een agent voor modelbeoordeling
Om een agent te selecteren voor modelbeoordeling:
- Open de app Copilot Agent Kit.
- Selecteer in de zijbalk Geavanceerd testen in het gedeelte Productiviteit . De pagina Advanced Testing wordt geopend.
- Selecteer Model assessment. Er wordt een lijst met agenten geopend.
- Selecteer een in aanmerking komende agent uit de lijst.
De lijst toont het vorige en huidige model van elke agent, de regressiestatus, de laatste run en de meest recente aantallen passes, failures en fouten. Gebruik de filters om agenten te vinden die aandacht nodig hebben of zoek op agentnaam. Selecteer Agenten verversen om de lijst opnieuw te laden.
Voer een basisbeoordeling uit
De eerste uitvoering registreert een basislijn voor het huidige model van de agent. Om een baseline-beoordeling uit te voeren:
- Selecteer een agent uit de lijst Model Assessment-agenten om het detailpaneel te openen.
- Als er geen baseline bestaat, klik op Run.
- Wacht tot de evaluatie is voltooid. Je kunt de details sluiten terwijl de run op de achtergrond doorgaat.
Er kan slechts één beoordeling tegelijk voor een agent worden uitgevoerd. Selecteer Beoordeling annuleren om een run te stoppen; een geannuleerde run wordt niet gescoord.
Wijzig het model en voer de beoordeling opnieuw uit
Nadat je een baseline hebt vastgelegd, wijzig je het model van de agent en voer je een nieuwe beoordeling uit.
- Selecteer in het paneel met agentgegevens een model uit de Model picker, of verander het model in Copilot Studio.
- Als u het model in Copilot Studio hebt gewijzigd, keer dan terug naar Model Assessment in Copilot Agent Kit en bevestig dat de app de wijziging heeft gedetecteerd.
- Selecteer Voeruit.
Wanneer u een model selecteert in Model Assessment, slaat de app het op naar de agent. Voor Kit-tests publiceert de app ook de agent omdat tests draaien tegen de gepubliceerde versie. Als het model sinds de laatste uitvoering niet is veranderd, wijzig het dan voordat je opnieuw Uitvoeren selecteert.
De modelgeschiedenis toont de baseline en latere modelwijzigingen. De app registreert een modelwijziging pas nadat een beoordeling foutloos is voltooid. Als een run fouten bevat, pak deze dan aan en voer de beoordeling opnieuw uit.
Kies de testengine
Als een agent zowel Copilot Studio-evaluaties als Copilot Agent Kit-tests heeft, kies dan welke testengine moet worden uitgevoerd. Voor Kit-tests selecteer je een Agent Configuration en testset. Als er maar één configuratie is, kiest de app die voor je.
Vergelijk runs en beoordeel resultaten
Om runs te vergelijken en resultaten te bekijken:
Selecteer in de modelgeschiedenis van de agent een voltooide run om het paneel Modelruns vergelijken te openen.
Selecteer maximaal drie voltooide runs. De app toont ze van oudste tot nieuwste.
Bekijk het tabblad Samenvatting voor elk model, runstatus, regressiestatus, testresultaten, Copilot-credits waar beschikbaar, en AI-analyse.
Bekijk het tabblad Testruns voor elke testcase en het resultaat ervan in elke run. Selecteer Heeft aandacht nodig om de lijst te filteren op mislukte of foutresultaten.
Selecteer Export to PDF om de vergelijking te downloaden.
Gebruik de model runs-picker om te wijzigen welke voltooide runs in de vergelijking verschijnen:
De samenvatting bevat een tegel voor elke run, gevolgd door AI-samenvattingen en de modelaanbeveling:
De app vergelijkt runs alleen wanneer ze dezelfde testengine gebruiken. Als een eerdere run een andere engine gebruikte, kies dan een run van dezelfde soort om te vergelijken.
De modelaanbevelingskaart verschijnt wanneer je precies twee runs selecteert die dezelfde testengine gebruiken. Het omvat een oordeel, een betrouwbaarheidsniveau, redenen, afwegingen en kanttekeningen. Gebruik de aanbeveling als richtlijn, niet als garantie. Bekijk de individuele testresultaten voordat je beslist welk model je wilt behouden.
In de volgende screenshot geeft de aanbeveling aan dat geen van beide modellen wordt aanbevolen:
In de volgende screenshot geeft de aanbeveling aan dat er geen duidelijke winnaar is:
Voor Kit-tests toont de aanbeveling een laag vertrouwen wanneer de vergelijking weinig gedeelde controles heeft:
Het tabblad Testruns toont elke evaluatietestcase en het resultaat daarvan in de geselecteerde runs:
Selecteer Vereist aandacht om de lijst te filteren op mislukte of foutresultaten:
Voor Kit-testruns toont het tabblad elke Kit-test en het resultaat ervan in elke geselecteerde run:
Begrijp de regressiestatus
Regressiestatus vat de gescorede resultaten van de huidige run samen.
| Regressiestatus | Meaning |
|---|---|
| Healthy | Er zijn geen gescoorde controles mislukt |
| Warning | Tot 20 procent van de gescoorde controles faalde na afronding naar beneden |
| Kritiek | Meer dan 20 procent van de gescoorde controles faalden na afronding |
| Niet beoordeeld | Er werden geen controles gescoord |
Een controle is één resultaat. Bij Copilot Studio-evaluaties is elke maatstaf voor een testgeval een check. Bij Kit-tests is elke test een controle. Alleen controles met een Geslaagd of Onvoldoende resultaat worden gescoord; fouten, uitgesloten controles en lopende controles worden niet meegeteld in de percentages. Percentages worden naar beneden afgerond tot gehele getallen voordat de status wordt toegewezen.
Een regressie is een controle die in de baseline is geslaagd en faalt in de huidige run. Een controle die in beide runs faalde is een persistent failure, geen regressie. De status houdt zowel rekening met het mislukte controlepercentage in de huidige run als het regressiepercentage ten opzichte van de baseline. Omdat regressies een subset van fouten zijn, mag het regressiepercentage het mislukte controlepercentage niet overschrijden. Bekijk het regressieaantal om te zien wat er ten opzichte van de basislijn is veranderd.
Begrijp Copilot kredietrapportage
Note
Elke Model Assessment-run kost ongeveer 150 Copilot Credits.
- Voor Copilot Studio-evaluaties registreert Model Assessment Copilot Credits wanneer Copilot Studio deze rapporteert voor een agent op het Microsoft Copilot-harnas. Het gebruik kan credits omvatten voor agentresponsen en evaluatie.
- Copilot Agent Kit-tests rapporteren geen Copilot-credits in de modelbeoordeling.
- AI-samenvattingen en aanbevelingen kunnen capaciteit gebruiken, zelfs wanneer een run geen credit totals rapporteert.
Gebruik geen credittotalen om runs van verschillende testengines te vergelijken.
Troubleshooting
| Issue | Wat u moet controleren |
|---|---|
| Er staat geen agent vermeld | Bevestig dat de agent een actieve MODELCHECK evaluatie of een pipeline-geschikte agentconfiguratie met een testset heeft. Selecteer vervolgens Agenten vernieuwen. |
| Een beoordeling kan niet starten omdat een flow is uitgeschakeld | Schakel de bijbehorende Model Assessment-cloudflow in in de Copilot Agent Kit-oplossing. |
| Een uitvoering meldt een connectorfout | Controleer of beide verbindingsreferenties verbonden zijn en dat de gebruiker van de Copilot Studio-verbinding toegang heeft tot de agent. |
| Geen evaluatietestset-runs | Bevestig dat de naam van de testset MODELCHECK bevat en dat de testset actief is. |
| Kittests mislukken of verlopen in een time-out | Bevestig dat in de agentconfiguratie Pipeline ingeschakeld is, dat de geselecteerde testset tests bevat en dat de agent is gepubliceerd. |
| De modelwijziging is niet geregistreerd | Los fouten in de run op en voer de beoordeling opnieuw uit. De modelgeschiedenis wordt pas bijgewerkt nadat een run zonder fouten is voltooid. |
| De app meldt dat het model niet is veranderd | Verander het model in Model Assessment of Copilot Studio, en voer vervolgens de beoordeling uit. |