Voer een AI-modelmigratie uit en valideer deze voor Copilot Studio-agenten

De volgende secties zijn van toepassing op elke modelwijziging, of het nu een proactieve upgrade is of een reactie op de uitfasering van een model. Definieer eerst de criteria, leg vervolgens een nulmeting van het huidige model vast en doorloop daarna de fasen.

Definieer migratieacceptatiecriteria

Definieer acceptatiecriteria voordat je het kandidaatmodel evalueert, zodat de agent-evaluatie een beslissing oplevert in plaats van alleen een reeks scores. Neem op:

  • Minimaal algemeen slagingspercentage
  • Vereiste slagingspercentage voor bedrijfskritische scenario's
  • Kritieke storingen die migratie blokkeren ongeacht de totale score
  • Toegestane variatie in latentie en betrouwbaarheid
  • Goedkeuring voor veiligheid, naleving en regionale gegevensverwerking
  • Acceptabele consumptie of kostenimpact
  • Vereiste goedkeuring van de eigenaar en de vrijgavegoedkeurder

Vergelijk het huidige en kandidaatmodel met dezelfde agentconfiguratie, testdata, testset, gebruikersprofielen en omgevingsaannames. Onderzoek individuele regressies in plaats van alleen te vertrouwen op een gemiddelde score.

Modeluitvoer is probabilistisch. Voer belangrijke scenario's meerdere keren uit wanneer variabiliteit de beslissing kan beïnvloeden.

Stel een herbruikbare evaluatiebaseline vast

Maak voordat je het model verandert, een testset die de bedrijfskritische en hoogfrequente scenario's van de agent vertegenwoordigt. Voer de testset uit tegen het huidige productiemodel om een basislijn vast te stellen.

Gebruik zowel test chat als evaluatie van agenten:

De beschikbare testmethoden hangen af van de harness van de agent, dus bevestig ze voordat je de testset ontwerpt. Lees meer in Bevestig welke testmethoden uw agent ondersteunt.

Kies hoe je modellen vergelijkt

Nadat u hebt vastgesteld wat getest moet worden en acceptatiecriteria vastgesteld, kies dan hoe u het huidige model met kandidaatmodellen vergelijkt. Gebruik dezelfde testset en equivalente agentconfiguraties zodat de vergelijking modelgerelateerde verschillen laat zien in plaats van niet-gerelateerde veranderingen. U kunt de vergelijking handmatig uitvoeren met agentkopieën, of de modelbeoordelingsfunctionaliteit van de Copilot Agent Kit gebruiken om testen te coördineren en de resultaten te beoordelen.

Vergelijk handmatig met agentkopieën

Maak niet-productiekopieën van de agent om modellen te evalueren zonder dat productiegebruikers worden beïnvloed.

  1. Maak gelijkwaardige agentenkopieën. Houd instructies, onderwerpen, kennisbronnen, tools, verbindingen, beveiligingsinstellingen en andere configuraties consistent. Noteer eventuele verschillen die de vergelijking kunnen beïnvloeden.
  2. Selecteer de modellen. Houd het huidige model op één kopie als basislijn en selecteer bij elke extra kopie een kandidaatmodel.
  3. Voer dezelfde evaluatietestset uit op elke kopie. Gebruik dezelfde testcases, evaluatiemethoden en representatieve testidentiteiten. Herhaal bedrijfskritieke scenario's wanneer variabiliteit de beslissing kan beïnvloeden.
  4. Vergelijk de resultaten met je acceptatiecriteria. Beoordeel individuele verbeteringen, regressies en aanhoudende mislukkingen in plaats van alleen te vertrouwen op de totale slagingspercentages. Gebruik testchat en de activiteitenmap om veranderingen in orkestratie, toolkeuze en het volgen van instructies te onderzoeken.
  5. Meet latency en verbruik afzonderlijk. Noteer deze metingen voor representatieve scenario's op elk model en exporteer de evaluatieresultaten om de vergelijking te behouden.

Houd de testset ongewijzigd voor de eerste vergelijking. Als je vervolgens instructies of andere agentartefacten verfijnt om een regressie aan te pakken, voer dan de tests opnieuw uit en registreer die wijzigingen samen met de resultaten.

Vergelijk met behulp van Model Assessment (preview)

Modelbeoordeling in de Copilot Agent Kit legt een basislijn vast, voert tests opnieuw uit na een modelwijziging en wijst verbeteringen, regressies en aanhoudende storingen uit. In plaats van aparte agentkopieën voor elk model te beheren, beoordeel opeenvolgende modellen op een niet-productiekopie en vergelijk de geregistreerde runs.

Model Assessment ondersteunt twee testopties:

Testoptie Wanneer gebruikt u het? Requirements
Copilot Studio-evaluaties Vergelijk resultaten van evaluatietestsets die zijn gemaakt in Copilot Studio. Beschikbaar voor Microsoft Copilot-harness-agents en standaard harness-agents, met gebruik van de evaluatiemethoden die door elke harness worden ondersteund. Maak een actieve evaluatietestset aan met MODELCHECK in de naam ervan. De agent hoeft niet gepubliceerd te worden.
Copilot Agent Kit tests Vergelijk resultaten van de testautomatisering van de kit met een uitgebrachte agent. Alleen beschikbaar voor standaard harness-agenten. Configureer een pipeline-geschikte agentconfiguratie en een Kit-testset.

Om modellen te vergelijken:

  1. Leg de basislijn vast. Voer een beoordeling uit ten opzichte van het huidige model voordat je het verandert.
  2. Selecteer het kandidaat-model. Wijzig het model via Model Assessment of in Copilot Studio.
  3. Voer dezelfde tests opnieuw uit. Houd de test-engine, testset en andere agentinstellingen ongewijzigd voor de eerste vergelijking. De resultaten van de twee testengines zijn niet direct vergelijkbaar omdat ze verschillende dingen beoordelen.
  4. Bekijk de vergelijking. Inspecteer per-testresultaten, regressiestatus en door AI gegenereerde samenvattingen. Je kunt tot drie voltooide runs naast elkaar vergelijken en de vergelijking exporteren naar PDF.
  5. Pas je acceptatiecriteria toe. Wanneer je twee runs selecteert van dezelfde testengine, levert Model Assessment een modelaanbeveling en betrouwbaarheidsniveau. Beschouw de aanbeveling als ondersteunend bewijs, niet als vervanging voor je acceptatiecriteria voor migratie. Controleer het Copilot-kredietverbruik waar gerapporteerd en meet de latentie afzonderlijk.

Important

Beoordeel kandidaatmodellen op een niet-productieversie van de agent. Het selecteren van een model in Model Assessment verandert de configuratie van de agent en publiceert bij Kit-tests ook de agent.

Lees meer over installatievereisten, beoordelingsstappen en richtlijnen voor het interpreteren van resultaten in Modelwijzigingen beoordelen met Copilot Agent Kit.

Evalueer het volledige gedrag van de agent

Keur geen vervangend model goed alleen omdat het totale slagingspercentage vergelijkbaar is met het huidige model.

Behandel de volgende gebieden. Elk daarvan is een aspect dat vaak verandert wanneer het model verandert, dus een testset die een aspect weglaat kan geen regressie erin detecteren.

Evaluatiegebied Wat er stuk kan gaan door een modelwijziging Hoe controleer je het
Antwoordkwaliteit Relevantie, volledigheid, nauwkeurigheid, duidelijkheid en consistentie bij de vragen die de agent het vaakst ontvangt. Algemene kwaliteit
Verankering en kennis Het model reageert op basis van trainingsdata in plaats van de geconfigureerde kennisbron, laat citaties vallen of behandelt onvolledige of conflicterende bronnen anders. Algemene kwaliteit
Onthouding Het model beantwoordt een vraag buiten de scope in plaats van te weigeren of te escaleren. Algemene kwaliteit, of Custom met Beantwoord en Geweigerd labels
Het opvolgen van instructies Instructies die het model betrouwbaar volgde, worden overgeslagen, zoals escalatieregels, grenzen, verboden gedrag of een verplichte disclaimer. Trefwoordmatch op vereiste woordgroepen, of Aangepast met instructie-specifieke labels
Vaste waarden en uitvoerformaat Een precieze waarde zoals een telefoonnummer, code of ID wordt geparafraseerd of verzonnen, of de uitvoerindeling verandert en verstoort een downstream-parser of kanaalintegratie. Exacte match, of trefwoordmatch op het vereiste formaat
Gereedschapskeuze en terughoudendheid Het model selecteert een ander gereedschap, roept geen gereedschap aan, of roept een gereedschap aan wanneer geen gereedschap nodig is. Gereedschapsgebruik met de verwachte tools of onderwerpen gedefinieerd, plus een overzicht van de activiteitenkaart
Toolinvoer en volgorde Parameters worden anders geëxtraheerd, geformatteerd of standaard ingesteld, of stappen in een multitooltaak worden herschikt, samengevoegd of weggelaten. Gereedschapsgebruik met alle verwachte tools, plus algemene kwaliteit
Bevestiging en faalafhandeling Het model stopt met het vragen om bevestiging vóór een gevolghandeling, of een toolfout wordt anders gemeld in plaats van gerapporteerd. Aangepast met bevestigingslabels, plus trefwoordmatch op de verwachte fouttaal
Meerbeurtgedrag Context uit eerdere beurten gaat verloren of wordt herinterpreteerd, of verduidelijking, onderwerpwijzigingen en herstel worden anders behandeld. Algemene kwaliteit op een conversatietestset
Rommelige en vijandige input Zwakkere omgang met typfouten, fragmenten en onduidelijke intentie, of een andere reactie op prompt injection en role override-pogingen. Algemene kwaliteit, plus Aangepast met de labels Refused en Complied
Veiligheid en naleving Schadelijke inhoudsafhandeling, gegevenstoegang, toestemmingen, regionale verwerking en verantwoordelijke AI-vereisten. Aangepaste labels, samen met een verantwoorde AI-review
Latentie en betrouwbaarheid Reactietijd, time-outs, variabiliteit, mislukte oproepen en herpogingen onder representatieve omstandigheden. Niet gerapporteerd in de evaluatie. Meten in testchat en productiemonitoring.
Verbruik en kosten Het verbruik van Copilot Credit of andere modelgerelateerde kosten voor representatieve scenario's. Niet gerapporteerd door de evaluatie. Meting in capaciteits- en verbruiksrapportage.
Talen en kanalen Kwaliteit en gedrag in ondersteunde talen, gebruikersprofielen en uitrolkanalen. Voer de testset uit voor elke taal, gebruikersprofiel en kanaal die ertoe doen

Let vooral op instructievolging en latency. Een kandidaatmodel kan de kwaliteit van antwoorden verbeteren, maar kan ook tragere antwoorden, ander gereedschapsselectiegedrag of fouten in instructies die betrouwbaar waren met het vorige model introduceren.

Bevestig welke testmethoden jouw agent ondersteunt

De testmethoden die beschikbaar zijn voor uw agent, hangen af van zijn testharnas.

Meer informatie vindt u in:

Bouw en onderhoud de testset

  • Behandel eerst bedrijfskritische happy paths en verzoeken met een groot volume, daarna moeilijke gevallen: randgevallen, adversariële inputs, verzoeken die geweigerd of geëscaleerd moeten worden, toolfouten, lange gesprekken en meertalige verzoeken.
  • Begin bij echt verkeer. Analytische thema's en opgenomen gesprekken leveren representatievere testcases op dan verzonnen testcases.
  • Geef de voorkeur aan dekking boven afwerking. Een grotere set onvolmaakte gevallen vindt meer regressies dan een kleine set perfect geformuleerde gevallen.
  • Beoordeel eerst het huidige model, daarna de kandidaat. De vergelijking, niet het absolute getal, vertelt of de migratie veilig is.
  • Houd de set bij de agent in source control en voer deze ongewijzigd uit bij elke modelwijziging.
  • Verdeel de set op risicogebied. Een testset die wordt aangedreven door het standaard testharnas bevat tot 100 testcases, dus gebruik aparte sets voor kennisnauwkeurigheid, gedrag van tools en veiligheidsgevoelige scenario's.
  • Exporteer de resultaten. Evaluatieresultaten worden 89 dagen bewaard, dus exporteer ze naar CSV om een registratie bij te houden van wat elk model bij migratie scoorde.
  • Zet productie-incidenten en gebruikersfeedback om in nieuwe regressietests.

Lees meer in Agentevaluatie ontwerpen en operationaliseren.

Note

Agentbeoordeling meet de correctheid en prestaties, niet de AI-ethiek of veiligheidsproblemen. Een agent kan elke testcase doorstaan en toch een ongepast antwoord geven. Gebruik verantwoorde AI-reviews en contentveiligheidsfilters naast evaluatie.

Automatiseer terugkerende evaluaties

Copilot Studio ondersteunt het uitvoeren van evaluaties via de Power Platform API, zodat je modelvalidatie kunt integreren in releaseworkflows en continue integratiepijplijnen. Voor een groot agentlandschap is automatisering wat herhaald testen van kandidaten haalbaar maakt zonder handmatig werk. Lees meer in Evaluaties automatiseren met de Power Platform API.

Werk de agentartefacten bij die door een modelwijziging worden beïnvloed

Een modelwijziging beïnvloedt zelden alleen de modelinstelling. Vertal de relevante richtlijnen van de aanbieder naar de agent-artefacten die je beheert, en verifieer vervolgens elke wijziging aan de hand van je evaluatiebasis. Een remediatie die niet opnieuw wordt getest is een gok.

Artifact Typische verandering
Agentinstructies Maak impliciete verwachtingen expliciet, verwijder omwegen die voor het vorige model zijn geschreven, herformuleer grenzen en escalatieregels en verboden gedragingen ondubbelzinnig, los tegenstrijdige instructies op en kalibriseer hoeveel onafhankelijke actie de agent moet ondernemen.
Onderwerp- en node-instructies Pas dezelfde behandeling toe op onderwerpniveau en controleer dat generatieve antwoordknooppunten zich nog steeds gedragen zoals verwacht.
Beschrijvingen van gereedschap en actie Herschrijven voor duidelijkheid. Deze beschrijving is wat het model leest om te bepalen of en wanneer een tool moet worden aangeroepen, en vage beschrijvingen veroorzaken zowel over- als under-calling.
Beschrijvingen van invoer- en uitvoerparameters Maak het formaat, de eenheden, voorbeelden en de vereiste of optionele semantiek strakker zodat parametergeneratie correct blijft.
Configuratie van kennisbron Controleer de instructies voor bronkeuze, scoping en onderbouwing opnieuw en verifieer het citatiegedrag.
Instructies voor het opmaken van antwoorden Herformuleer expliciet de vereiste structuur, lengte, disclaimers en exacte waarden, omdat nieuwere modellen de standaardverbositeit wijzigen.
Bevestiging en veiligheidscontroles Herbevestig expliciete bevestigingseisen voordat ingrijpende acties worden uitgevoerd.
Downstream afnemers Werk Power Automate-stromen, adaptieve kaarten, kanaalintegraties en elke parser die agent-uitvoer leest bij.
De testset zelf Voeg de nieuwe faalpatronen toe die tijdens de migratie zijn ontdekt.

Migratiefasen

De volgende fasen zetten de voorgaande secties in uitvoeringsvolgorde. Gebruik ze als werkplan voor de modelwijziging van een enkele agent, ongeacht of de verandering nu proactief is of wordt gedreven door een pensioen.

Fase 0: Voorbereiden

  1. Bevestig dat het kandidaatmodel geldig is ten opzichte van de vereisten: algemeen beschikbaar of standaard, beschikbaar in de regio, cross-geo-configuratie acceptabel, door de beheerder ingeschakeld en de juiste gebruikscategorie voor het doel van de agent.
  2. Lees de upgrade-richtlijnen van de modelaanbieder en noteer de instructie- en toolwijzigingen die dit met zich meebrengt.
  3. Identificeer de getroffen agents in de inventaris en leg de omgeving, eigenaren en kriticiteit vast.
  4. Bevestig welke evaluatietestmethoden het testharnas van de agent ondersteunt.
  5. Definieer en keur de acceptatiecriteria voor de migratie goed.

Fase 1: Breng het huidige model in kaart

  1. Bouw of vernieuw de regressietestset zodat deze bedrijfskritische en hoogfrequente scenario's dekt.
  2. Voer de testset uit met het huidige productiemodel om de basislijn vast te stellen. Doe dit terwijl het huidige model nog steeds van kracht is, want nadat het model verandert kan de basislijn niet worden gereconstrueerd.
  3. Registreer latency en Copilot Credit-verbruik apart. Evaluaties rapporteren ze niet.
  4. Exporteer de resultaten naar CSV om het record buiten het retentievenster te behouden.

Fase 2: Evalueer de kandidaat in een niet-productieomgeving

  1. Maak een niet-productieversie van de agent, volgens de Copilot Studio-richtlijnen voor applicatielevenscyclusbeheer en agenttesten. Configureer de omgeving zodat deze productie vertegenwoordigt:

    • Gebruik dezelfde agentinstructies, onderwerpen, kennisconfiguratie, tools, flows, connectors, talen en beveiligingsaannames.
    • Gebruik representatieve testidentiteiten en connecties.
    • Pas hetzelfde gegevensbeleid en relevante beheerderscontroles toe.
    • Bevestig de regionale beschikbaarheid en of cross-geo databeweging nodig is.
    • Noteer eventuele verschillen tussen test en productie die het resultaat kunnen beïnvloeden.
  2. Verander het model. Ga naar de Overzichtspagina van de agent en selecteer het kandidaat-primaire model in de sectie Model . Er bestaan aparte instellingen voor diepgaand redeneren, generatieve antwoorden en de promptbuilder, dus controleer of de agent die mogelijkheden gebruikt en of ze ook moeten veranderen.

  3. Voer dezelfde testset opnieuw uit, ongewijzigd, met het kandidaatmodel.

  4. Vergelijk de twee runs met de acceptatiepoorten om verbeteringen en regressies te identificeren.

  5. Inspecteer de orkestratie kwalitatief in de testchat, waarbij je de activiteitenkaart gebruikt om te bevestigen welke tools zijn geselecteerd, in welke volgorde en met welke parameters.

  6. Meet latentie en verbruik voor de kandidaatconfiguratie en vergelijk deze met de basislijn.

Fase 3: Problemen verhelpen

  1. Werk de artefacten van de agent bij die door de modelwijziging worden beïnvloed en voer vervolgens de testset opnieuw uit op de gecorrigeerde agent. Lees meer in Verbeter agenten met evaluatiegedreven triage en remediation.
  2. Itereer totdat aan de acceptatiecriteria is voldaan, of concludeer dat het kandidaatmodel niet geschikt is en documenteer waarom. Besluiten niet te upgraden is een legitieme, op bewijs gebaseerde uitkomst.

Als je migratie ook invloed heeft op een Microsoft 365 Copilot-plugin, volg dan de richtlijnen in Monitor, update en beëindig je plugin of agent om de update te testen, verpakken en uit te rollen.

Fase 4: Goedkeuren en uitrollen

  1. Krijg goedkeuring voor de acceptatiepoorten van de eigenaar van de agent en de releasegoedkeurder, inclusief veiligheids- en compliance-goedkeuring wanneer cross-geo of externe modellen betrokken zijn.
  2. Deploy via het gevestigde ALM-proces, waarbij de oplossing van test tot productie wordt gepromoot. Bewerk de productieagent niet handmatig.
  3. Zet de uitrol in gang wanneer het kanaal het toelaat. Publiceer eerst naar een pilotpubliek of één kanaal, observeer het resultaat en breid dan uit.

Fase 5: Monitoren en sluiten

  1. Bewaak het productiegedrag aan de acceptatiecriteria.
  2. Voeg nieuw ontdekte faalpatronen toe aan de regressietestset.
  3. Sluit de migratie pas af nadat aan de acceptatiecriteria in productie is voldaan .
  4. Bewaar het evaluatiebewijs en het migratiebeslissingsrecord voor audit en voor het volgende levenscyclusevenement.

Important

Het terugrolpad voor een modelwijziging is het opnieuw uitrollen van de eerder gevalideerde oplossingsversie, wat langzamer is dan een configuratieschakelaar. Dit verschil maakt het evaluatiemoment in fase 2 van belang. Een regressie opsporen vóór de uitrol is goedkoper dan die achteraf terug te draaien.

Monitor na migratie

Het werk aan de levenscyclus van het model gaat door na de implementatie. Controleren:

  • Resultaten van agentbeoordeling en slagingspercentages voor kritieke scenario's.
  • Productie-analyses, transcripties, activiteit, fouten en gebruikersfeedback.
  • Fouten bij het volgen van instructies en bij het selecteren van gereedschap.
  • Latentie, time-outs en betrouwbaarheid.
  • Consumptie verandert.
  • Veiligheids-, nalevings- en regionale verwerkingszorgen.

Wanneer productiemonitoring een nieuw faalpatroon identificeert, voeg dan een representatief geval toe aan de regressietestset. Deze praktijk verbetert de evaluatie van het volgende model en zet leren uit productie om in een duurzame kwaliteitsbasis.

Telemetrie op omgevingsniveau zendt OpenTelemetry GenAI spans naar Application Insights, inclusief het model dat voor elke agentaanroep wordt gebruikt. Gebruik dit om te controleren welk model het productieverkeer daadwerkelijk gebruikt, en om toolselectie en betrouwbaarheid vóór en na een migratie te vergelijken.