Voer een AI-modelmigratie uit en valideer deze voor Copilot Studio-agenten

De volgende secties zijn van toepassing op elke modelwijziging, of het nu een proactieve upgrade is of een reactie op een pensioen. Definieer eerst de poorten, leg een basislijn vast uit het huidige model en werk vervolgens door de fasen.

Definieer migratieacceptatiepoorten

Definieer acceptatiecriteria voordat je het kandidaatmodel evalueert, zodat de agent-evaluatie een beslissing oplevert in plaats van alleen een set scores. Neem op:

  • Minimum totale slagingspercentage
  • Vereiste slagingspercentage voor bedrijfskritische scenario's
  • Kritieke storingen die migratie blokkeren ongeacht de totale score
  • Toegestane variatie in latentie en betrouwbaarheid
  • Goedkeuring voor veiligheid, naleving en regionale verwerking
  • Acceptabele consumptie of kostenimpact
  • Vereiste goedkeuring van eigenaar en vrijgave-keuringsinstantie

Vergelijk het huidige en kandidaatmodel door gebruik te maken van dezelfde agentconfiguratie, testdata, testset, gebruikersprofielen en omgevingsaannames. Onderzoek individuele regressies in plaats van alleen te vertrouwen op een gemiddelde score.

Modeluitvoer is probabilistisch. Voer belangrijke scenario's meerdere keren uit wanneer variabiliteit de beslissing kan beïnvloeden.

Stel een herbruikbare evaluatiebaseline vast

Maak voordat je het model verandert, een testset die de bedrijfskritische en hoogfrequente scenario's van de agent vertegenwoordigt. Voer de testset uit tegen het huidige productiemodel om een basislijn vast te stellen.

Gebruik zowel testchat als agentbeoordeling:

De beschikbare testmethoden hangen af van het harnas van de agent, dus bevestig ze voordat je de testset ontwerpt. Lees meer in Bevestig welke testmethoden uw makelaar ondersteunt.

Evalueer het volledige gedrag van de agent

Keur geen vervangend model goed alleen omdat het totale slagingspercentage vergelijkbaar is met het huidige model.

Behandel de volgende gebieden. Elk is een gedrag dat vaak verandert wanneer het model verandert, dus een testset die een gebied weglaat kan geen regressie daarin detecteren.

Evaluatiegebied Wat een modelwijziging kan breken Hoe controleer je het
Antwoordkwaliteit Relevantie, volledigheid, nauwkeurigheid, duidelijkheid en consistentie bij de vragen die de agent het vaakst ontvangt. Algemene kwaliteit
Grondigheid en kennis Het model reageert op basis van trainingsdata in plaats van de geconfigureerde kennisbron, laat citaties vallen of behandelt onvolledige of conflicterende bronnen anders. Algemene kwaliteit
Onthouding Het model beantwoordt een vraag buiten de scope in plaats van te weigeren of te escaleren. Algemene kwaliteit, of Custom met Beantwoord en Geweigerd labels
Het opvolgen van instructies Instructies die het model betrouwbaar volgde, worden overgeslagen, zoals escalatieregels, grenzen, verboden gedrag of een verplichte disclaimer. Trefwoordmatch op vereiste zingen, of Aangepast met instructie-specifieke labels
Vaste waarden en uitvoerformaat Een precieze waarde zoals een telefoonnummer, code of ID wordt geparafraseerd of uitgevonden, of de uitvoervorm verandert en breekt een downstream parser of kanaalintegratie. Exacte match, of trefwoordmatch op het vereiste formaat
Gereedschapskeuze en -beperking Het model selecteert een ander gereedschap, roept geen gereedschap aan, of roept een hulpmiddel aan wanneer geen gereedschap nodig is. Gereedschapsgebruik met de verwachte tools of onderwerpen gedefinieerd, plus een overzicht van de activiteitenkaart
Toolinvoer en sequencing Parameters worden anders geëxtraheerd, geformatteerd of standaard ingesteld, of stappen in een multitooltaak worden herschikt, samengevoegd of weggelaten. Gereedschapsgebruik met alle verwachte tools, plus algemene kwaliteit
Bevestiging en faalafhandeling Het model stopt met het vragen om bevestiging vóór een gevolghandeling, of een toolfout wordt anders gemeld in plaats van gerapporteerd. Aangepast met bevestigingslabels, plus trefwoordmatch op de verwachte fouttaal
Meerbeurtgedrag Context uit eerdere beurten gaat verloren of wordt herinterpreteerd, of verduidelijking, onderwerpwijzigingen en herstel worden anders behandeld. Algemene kwaliteit op een conversatietestset
Rommelige en vijandige input Zwakkere omgang met typfouten, fragmenten en onduidelijke intentie, of een andere reactie op prompt injection en role override-pogingen. Algemene kwaliteit, plus Custom met Refused en Complied labels
Veiligheid en naleving Schadelijke inhoudsafhandeling, gegevenstoegang, toestemmingen, regionale verwerking en verantwoordelijke AI-vereisten. Aangepaste labels, samen met een verantwoorde AI-review
Latentie en betrouwbaarheid Reactietijd, time-outs, variabiliteit, mislukte oproepen en herpogingen onder representatieve omstandigheden. Niet gerapporteerd door evaluatie. Meet in testchat en productiemonitoring.
Verbruik en kosten Copilot Credit-verbruik of andere modelgerelateerde kosten voor representatieve scenario's. Niet gerapporteerd door evaluatie. Meet in capaciteits- en consumptierapportage.
Talen en kanalen Kwaliteit en gedrag over ondersteunde talen, gebruikersprofielen en deploymentkanalen. Voer de testset uit voor elke taal, gebruikersprofiel en kanaal die ertoe doen

Let vooral op instructievolging en latency. Een kandidaatmodel kan de kwaliteit van antwoorden verbeteren, maar tragere antwoorden, ander gereedschapsselectiegedrag of fouten in instructies die betrouwbaar waren met het vorige model introduceren.

Bevestig welke testmethoden jouw makelaar ondersteunt

De testmethoden die uw makelaar beschikbaar heeft, hangen af van zijn harnas.

Meer informatie vindt u in:

Bouw en onderhoud de testset

  • Behandel eerst bedrijfskritische happy paths en verzoeken met een groot volume, daarna moeilijke gevallen: randgevallen, adversariële inputs, verzoeken die geweigerd of geëscaleerd moeten worden, toolfouten, lange gesprekken en meertalige verzoeken.
  • Begin bij echt verkeer. Analytische thema's en opgenomen gesprekken leveren representatievere testcases op dan verzonnen.
  • Geef de voorkeur aan dekking boven polish. Een grotere set onvolmaakte gevallen vindt meer regressies dan een kleine set perfect geformuleerde.
  • Beoordeel eerst het huidige model, daarna de kandidaat. De vergelijking, niet het absolute getal, vertelt of de migratie veilig is.
  • Houd de set bij de agent in source control en voer deze ongewijzigd uit bij elke modelwijziging.
  • Verdeel de set op risicogebied. Een testset die wordt aangedreven door het standaardharnas bevat tot 100 testcases, dus gebruik aparte sets voor kennisnauwkeurigheid, gereedschapsgedrag en veiligheidsgevoelige scenario's.
  • Exporteer de resultaten. Evaluatieresultaten worden 89 dagen bewaard, dus exporteer ze naar CSV om een registratie bij te houden van wat elk model bij migratie scoorde.
  • Zet productie-incidenten en gebruikersfeedback om in nieuwe regressietests.

Lees meer in Ontwerp en operationeel agent-evaluatie.

Note

Agentbeoordeling meet de correctheid en prestaties, niet de AI-ethiek of veiligheidsproblemen. Een agent kan elke testcase doorstaan en toch een ongepast antwoord geven. Gebruik verantwoorde AI-reviews en contentveiligheidsfilters naast evaluatie.

Automatiseer terugkerende evaluaties

Copilot Studio ondersteunt het uitvoeren van evaluaties via de Power Platform API, zodat je modelvalidatie kunt integreren in releaseworkflows en continue integratiepijplijnen. Voor een grote makelaarsestate is automatisering wat herhaald kandidaattesten duurzaam maakt in plaats van handmatig. Lees meer in Automate-evaluaties met de Power Platform API.

Werk de agentartefacten bij die een modelwijziging beïnvloedt

Een modelwijziging beïnvloedt zelden alleen de modelinstelling. Vertal de relevante richtlijnen van de aanbieder naar de agent-artefacten die je beheert, en verifieer vervolgens elke wijziging aan de hand van je evaluatiebasis. Een remediatie die niet opnieuw wordt getest is een gok.

Artifact Typische verandering
Instructies van de agent Maak impliciete verwachtingen expliciet, verwijder omwegen die voor het vorige model zijn geschreven, herformuleer grenzen en escalatieregels en verboden gedragingen ondubbelzinnig, los tegenstrijdige instructies op en kalibriseer hoeveel onafhankelijke actie de agent moet ondernemen.
Onderwerp- en knoopinstructies Pas dezelfde behandeling toe op onderwerpniveau en controleer dat generatieve antwoordknooppunten zich nog steeds gedragen zoals verwacht.
Beschrijvingen van gereedschap en actie Herschrijven voor duidelijkheid. Deze beschrijving is wat het model leest om te bepalen of en wanneer een tool moet worden aangeroepen, en vage beschrijvingen veroorzaken zowel over- als under-calling.
Beschrijvingen van invoer- en uitvoerparameters Strak het formaat, eenheden, voorbeelden en vereiste of optionele semantiek aan zodat parametergeneratie correct blijft.
Configuratie van kennisbron Controleer de instructies voor bronkeuze, scoping en aarding opnieuw en verifieer het citatiegedrag.
Instructies voor het opmaken van antwoorden Herformuleer expliciet de vereiste structuur, lengte, disclaimers en exacte waarden, omdat nieuwere modellen de standaardverbositeit wijzigen.
Bevestiging en veiligheidspoorten Herbevestig expliciete bevestigingseisen voordat gevolghandelingen plaatsvinden.
Downstream consumenten Werk Power Automate-stromen, adaptieve kaarten, kanaalintegraties en elke parser die agent-uitvoer leest bij.
De testset zelf Voeg de nieuwe faalpatronen toe die tijdens de migratie zijn ontdekt.

Migratiefasen

De volgende fasen plaatsen de voorgaande secties in uitvoeringsvolgorde. Gebruik ze als werkplan voor de modelwijziging van een enkele agent, of de verandering nu proactief is of wordt gedreven door een pensioen.

Fase 0: Voorbereiden

  1. Bevestig dat het kandidaatmodel geldig is ten opzichte van de vereisten: algemeen beschikbaar of standaard, beschikbaar in de regio, cross-geo posture acceptabel, administrator-enabled en de juiste gebruikscategorie voor het doel van de agent.
  2. Lees de upgrade-richtlijnen van de modelaanbieder en noteer de instructie- en toolwijzigingen die dit met zich meebrengt.
  3. Identificeer de getroffen agentia uit de inventaris, registratieomgeving, eigenaren en kritische aard.
  4. Bevestig welke evaluatietestmethoden het harnas van de agent ondersteunt.
  5. Definieer en keur de migratieacceptatiepoorten goed.

Fase 1: Baseline van het huidige model

  1. Bouw of vernieuw de regressietestset zodat deze bedrijfskritische en hoogfrequente scenario's dekt.
  2. Voer de testset uit met het huidige productiemodel om de basislijn vast te stellen. Doe dit terwijl het huidige model nog steeds van kracht is, want nadat het model verandert kan de basislijn niet worden gereconstrueerd.
  3. Registreer latency en Copilot Credit-verbruik apart. Evaluaties rapporteren ze niet.
  4. Exporteer de resultaten naar CSV om het record buiten het retentievenster te behouden.

Fase 2: Evalueer de kandidaat in een niet-productieomgeving

  1. Maak een niet-productieversie van de agent, volgens de Copilot Studio-richtlijnen voor applicatielevenscyclusbeheer en agenttesten. Configureer de omgeving zodat deze productie vertegenwoordigt:

    • Gebruik dezelfde agentinstructies, onderwerpen, kennisconfiguratie, tools, flows, connectors, talen en beveiligingsaannames.
    • Gebruik representatieve testidentiteiten en connecties.
    • Pas dezelfde databeleid en relevante beheerderscontroles toe.
    • Bevestig de regionale beschikbaarheid en of cross-geo databeweging nodig is.
    • Noteer eventuele verschillen tussen test en productie die het resultaat kunnen beïnvloeden.

  2. Verander het model. Ga naar de Overzichtspagina van de agent en selecteer het kandidaat-primaire model in de sectie Model . Er bestaan aparte instellingen voor diepgaand redeneren, generatieve antwoorden en de promptbuilder, dus controleer of de agent die mogelijkheden gebruikt en of ze ook moeten veranderen.

  3. Voer dezelfde testset opnieuw uit, ongewijzigd, tegen het kandidaatmodel.

  4. Vergelijk de twee runs met de acceptatiepoorten om verbeteringen en regressies te identificeren.

  5. Inspecteer de orkestratie kwalitatief in de testchat, waarbij je de activiteitenkaart gebruikt om te bevestigen welke tools zijn geselecteerd, in welke volgorde en met welke parameters.

  6. Meet latentie en verbruik voor de kandidaat en vergelijk deze met de basislijn.

Fase 3: Saneren

  1. Werk de agentartefacten bij die de modelwijziging beïnvloedt, en voer vervolgens de testset opnieuw uit tegen het gecorrigeerde agent. Lees meer in Verbeter agenten met evaluatiegedreven triage en remediation.
  2. Itereer totdat de acceptatiepoorten zijn gehaald, of concludeer dat het kandidaatmodel niet geschikt is en documenteer waarom. Besluiten niet te upgraden is een legitieme, op bewijs gebaseerde uitkomst.

Fase 4: Goedkeuren en uitrollen

  1. Krijg goedkeuring voor de acceptatiepoorten van de eigenaar van de agent en geef de goedkeuring van de vergunning uit, inclusief veiligheids- en compliance-goedkeuring wanneer cross-geo of externe modellen betrokken zijn.
  2. Deploy via het gevestigde ALM-proces, waarbij de oplossing van test tot productie wordt gepromoot. Bewerk de productieagent niet handmatig.
  3. Zet de uitrol in gang wanneer het kanaal het toelaat. Publiceer eerst naar een pilotpubliek of één kanaal, observeer het resultaat en breid dan uit.

Fase 5: Monitoren en sluiten

  1. Monitor het productiegedrag tegen de acceptatiepoorten.
  2. Voeg nieuw ontdekte faalpatronen toe aan de regressietestset.
  3. Sluit de migratie pas af nadat aan de acceptatiecriteria in productie is voldaan .
  4. Bewaar het evaluatiebewijs en het migratiebeslissingsrecord voor audit en voor het volgende levenscyclusevenement.

Important

Het terugrolpad voor een modelwijziging is het opnieuw uitrollen van de eerder gevalideerde oplossingsversie, wat langzamer is dan een configuratieschakelaar. Dit verschil maakt de evaluatiepoort in fase 2 zo belangrijk. Een regressie vangen vóór de uitrol is goedkoper dan er een achteraf omkeren.

Monitor na migratie

Het werk aan de levenscyclus van het model gaat door na de implementatie. Controleren:

  • Resultaten van agentbeoordeling en slagingspercentages voor kritieke scenario's.
  • Productie-analyses, transcripties, activiteit, fouten en gebruikersfeedback.
  • Fouten bij het volgen van instructies en bij het selecteren van gereedschap.
  • Latentie, time-outs en betrouwbaarheid.
  • Consumptie verandert.
  • Veiligheids-, nalevings- en regionale verwerkingszorgen.

Wanneer productiemonitoring een nieuw faalpatroon identificeert, voeg dan een representatief geval toe aan de regressietestset. Deze praktijk verbetert de evaluatie van het volgende model en maakt productie-leren om in een duurzame kwaliteitsbasis.

Telemetrie op omgevingsniveau zendt OpenTelemetry GenAI overs naar Application Insights, inclusief het model dat voor elke agentaanroep wordt gebruikt. Gebruik het om te bevestigen op welk model productieverkeer daadwerkelijk draait, en om de keuze en betrouwbaarheid van tools voor en na een migratie te vergelijken.

  • Last updated on