Kjør og valider en AI-modellmigrering for Copilot Studio-agenter

Følgende avsnitt gjelder for alle modellendringer, enten det er en proaktiv oppgradering eller en respons på en pensjonering. Definer portene først, fang en baseline fra den nåværende modellen, og gå deretter gjennom fasene.

Definer migrasjonsakseptporter

Definer akseptkriterier før du evaluerer kandidatmodellen, slik at agentens evaluering gir en avgjørelse i stedet for bare et sett med poeng. Inkludere:

  • Minimum total beståttprosent
  • Påkrevd beståttprosent for forretningskritiske scenarier
  • Kritiske feil som blokkerer migrasjon uavhengig av samlet poengsum
  • Tillatt latens- og pålitelighetsvarians
  • Sikkerhets-, etterlevelses- og regional behandlingsgodkjenning
  • Akseptabel forbruks- eller kostnadspåvirkning
  • Krever godkjenning fra eier og godkjenning

Sammenlign nåværende og kandidatmodell ved å bruke samme agentkonfigurasjon, testdata, testsett, brukerprofiler og miljøforutsetninger. Undersøk individuelle regresjoner i stedet for kun å stole på en gjennomsnittsscore.

Modellutdataene er probabilistiske. Kjør viktige scenarioer mer enn én gang når variasjon kan påvirke avgjørelsen.

Etabler en gjenbrukbar evalueringsbaseline

Før du endrer modellen, lag et testsett som representerer agentens forretningskritiske og høyfrekvente scenarier. Kjør testsettet mot den nåværende produksjonsmodellen for å etablere en baseline.

Bruk både testchat og agentvurdering:

  • Bruk testchat for å utforske komplette samtaler og inspisere orkestreringen med aktivitetskartet.
  • Bruk agentevaluering for å kjøre repeterbare testsett, måle resultater og sammenligne kjøringer over tid.

Testmetodene du har tilgjengelig avhenger av agentens sele, så bekreft dem før du designer testsettet. Les mer i Bekreft hvilke testmetoder agenten din støtter.

Evaluer hele agentens atferd

Ikke godkjenn en erstatningsmodell bare fordi den samlede beståttprosenten ligner på dagens modell.

Dekk følgende områder. Hver av dem er en atferd som ofte endres når modellen endres, så et testsett som utelater et område kan ikke oppdage en regresjon i det.

Evalueringsområde Hva en modellendring kan ødelegge Hvordan sjekke det
Svarkvalitet Relevans, fullstendighet, nøyaktighet, klarhet og konsistens i spørsmålene agenten mottar oftest. Generell kvalitet
Forankring og kunnskap Modellen svarer ut fra treningsdata i stedet for den konfigurerte kunnskapskilden, dropper siteringer, eller håndterer ufullstendige eller motstridende kilder annerledes. Generell kvalitet
Avholdenhet Modellen svarer på et spørsmål utenfor rammen i stedet for å avvise eller eskalere. Generell kvalitet, eller Tilpasset med besvarte og avviste etiketter
Instruksjonsoppfølging Instruksjoner som modellen pålitelig fulgte, hoppes over, som eskaleringsregler, grenser, forbudte atferder eller en obligatorisk ansvarsfraskrivelse. Nøkkelordmatch på nødvendige fraser, eller Tilpasset med instruksjonsspesifikke etiketter
Faste verdier og utdataformat En presis verdi som et telefonnummer, kode eller ID blir omformulert eller oppfunnet, eller utgangsformen endres og bryter en nedstrøms parser eller kanalintegrasjon. Eksakt match, eller nøkkelordmatch på det ønskede formatet
Verktøyvalg og fastholdelse Modellen velger et annet verktøy, kaller ingen, eller kaller et verktøy når det ikke trengs noe verktøy. Bruk av verktøy med de forventede verktøyene eller temaene definert, pluss en gjennomgang av aktivitetskartet
Verktøyinput og sekvensering Parametere blir hentet ut, formatert eller standardjustert annerledes, eller steg i en multitool-oppgave blir omorganisert, slått sammen eller fjernet. Verktøybruk med alle forventede verktøy, pluss generell kvalitet
Bekreftelse og feilhåndtering Modellen slutter å be om bekreftelse før en konsekvenshandling, eller en verktøyfeil blir avslørt annerledes i stedet for rapportert. Tilpasset med bekreftelsesetiketter, pluss nøkkelordmatch på forventet feilspråk
Fleromgangsoppførsel Kontekst fra tidligere vendinger går tapt eller tolkes på nytt, eller avklaring, temaendringer og gjenoppretting håndteres annerledes. Generell kvalitet på et samtaletestsett
Rotete og motstridende input Svakere håndtering av skrivefeil, fragmenter og uklar intensjon, eller en annen respons på prompt injection og role override-forsøk. Generell kvalitet, pluss Custom med Refused and Complied-etiketter
Sikkerhet og samsvar Håndtering av skadelig innhold, tilgang til data, tillatelser, regional behandling og ansvarlige krav til KI. Egendefinerte etiketter, sammen med en ansvarlig AI-gjennomgang
Latens og pålitelighet Responstid, timeouts, variasjon, mislykkede samtaler og nye forsøk under representative forhold. Ikke rapportert ved evaluering. Mål i testchat og produksjonsovervåking.
Forbruk og kostnad Copilot Credit-forbruk eller andre modellrelaterte kostnader for representative scenarier. Ikke rapportert ved evaluering. Mål i kapasitets- og forbruksrapportering.
Språk og kanaler Kvalitet og oppførsel på tvers av støttede språk, brukerprofiler og distribusjonskanaler. Kjør testsettet for hvert språk, brukerprofil og kanal som betyr noe

Vær spesielt oppmerksom på instruksjonsoppfølging og forsinkelse. En kandidatmodell kan forbedre svarkvaliteten, men introdusere tregere svar, annerledes verktøyvalgatferd eller feil i instruksjoner som var pålitelige med forrige modell.

Bekreft hvilke testmetoder agenten din støtter

Testmetodene som er tilgjengelige for agenten din, avhenger av dens sele.

Finn ut mer i:

Bygg og vedlikehold testsettet

  • Dekk forretningskritiske happy paths og forespørsler med stort volum først, deretter vanskelige tilfeller: edge cases, motstridende innspill, forespørsler som bør avslås eller eskaleres, verktøyfeil, lange samtaler og flerspråklige forespørsler.
  • Start fra ekte trafikk. Analytiske temaer og innspilte samtaler gir mer representative testtilfeller enn oppdiktede.
  • Foretrekk dekning fremfor polish. Et større sett med ufullkomne tilfeller finner flere regresjoner enn et lite sett med perfekt formulerte.
  • Vurder den nåværende modellen først, deretter kandidaten. Sammenligningen, ikke det absolutte tallet, forteller deg om migrasjonen er trygg.
  • Behold settet med agenten i kildekontrollen, og kjør det på nytt uendret for hver modellendring.
  • Del settet etter risikoområde. Et testsett drevet av standardledningsnettet kan romme opptil 100 testtilfeller, så bruk separate sett for kunnskapsnøyaktighet, verktøyatferd og sikkerhetssensitive scenarier.
  • Eksporter resultater. Evalueringsresultater lagres i 89 dager, så eksporter dem til CSV for å holde oversikt over hva hver modell scoret ved migrering.
  • Konverter produksjonshendelser og brukertilbakemeldinger til nye regresjonstester.

Lær mer i Design og operasjonalisering av agentvurdering.

Bemerkning

Agentvurdering måler korrekthet og ytelse, ikke AI-etikk eller sikkerhetsproblemer. En agent kan bestå alle testtilfeller og likevel gi et upassende svar. Bruk ansvarlige AI-gjennomganger og innholdssikkerhetsfiltre sammen med evaluering.

Automatiser gjentakende evalueringer

Copilot Studio støtter kjøring av evalueringer gjennom Power Platform API, slik at du kan integrere modellvalidering i release-arbeidsflyter og kontinuerlige integrasjonspipelines. For en stor agentportefølje er automatisering det som gjør gjentatt kandidattesting bærekraftig i stedet for manuell. Lær mer i Automate-evalueringer med Power Platform API.

Oppdater agentartefaktene en modellendring påvirker

En modellendring påvirker sjelden bare modellinnstillingen. Oversett relevant veiledning fra leverandøren til agentartefaktene du kontrollerer, og valider deretter hver endring mot din evalueringsbaseline. En opprydding som ikke testes på nytt er et gjetning.

Kulturgjenstand Typisk endring
Agentinstruksjoner Gjør implisitte forventninger eksplisitte, fjern omveier skrevet for forrige modell, omformuler grenser og eskaleringsregler og forbudte atferder entydig, løs motstridende instruksjoner, og kalibrer hvor mye selvstendig handling agenten bør ta.
Tema- og nodeinstruksjoner Bruk samme behandling på temanivå, og verifiser at generative svarnoder fortsatt oppfører seg som forventet.
Verktøy- og handlingsbeskrivelser Skriv om for klarhet. Denne beskrivelsen er det modellen leser for å avgjøre om og når et verktøy skal kalles opp, og vage beskrivelser fører til både over- og underkalling.
Beskrivelser av inn- og utgangsparametere Stram inn formatet, enhetene, eksemplene og nødvendig eller valgfri semantikk slik at parametergenereringen forblir korrekt.
Kunnskapskildekonfigurasjon Sjekk instruksjoner for valg av kilde, avgrensing og jording på nytt, og verifiser siteringsoppførsel.
Instruksjoner for responsformatering Gjenta den nødvendige strukturen, lengden, ansvarsfraskrivelsene og eksakte verdier eksplisitt, fordi nyere modeller endrer standard verbositet.
Konfirmasjon og sikkerhetsporter Gjenta eksplisitte bekreftelseskrav før konsekvenshandlinger.
Nedstrøms forbrukere Oppdater Power Automate-flyter, adaptive kort, kanalintegrasjoner og enhver parser som leser agentutdata.
Selve testserien Legg til de nye feilmønstrene som ble oppdaget under migrasjonen.

Migrasjonsfaser

Følgende faser setter de foregående seksjonene i utførelsesrekkefølge. Bruk dem som arbeidsplan for en enkelt agents modellendring, enten endringen er proaktiv eller drevet av pensjonering.

Fase 0: Forbered deg

  1. Bekreft at kandidatmodellen er gyldig mot forutsetningene: generelt tilgjengelig eller standard, tilgjengelig i regionen, kryss-geo posisjon akseptabel, administratoraktivert, og riktig brukskategori for agentens formål.
  2. Les modellleverandørens oppgraderingsveiledning og noter instruksjons- og verktøyendringene det innebærer.
  3. Identifiser de berørte agentene fra inventar, registreringsmiljø, eiere og kritikalitet.
  4. Bekreft hvilke evalueringstestmetoder agentens sele støtter.
  5. Definer og godkjenn portene for migrasjonsaksept.

Fase 1: Grunnlag for dagens modell

  1. Bygg eller oppdater regresjonstestsettet slik at det dekker forretningskritiske og høyfrekvente scenarier.
  2. Kjør testsettet mot den nåværende produksjonsmodellen for å etablere baseline. Gjør dette mens den nåværende modellen fortsatt er på plass, fordi etter at modellen endres kan ikke grunnlinjen rekonstrueres.
  3. Registrer latens og forbruk av Copilot Credit separat. Evalueringer rapporterer dem ikke.
  4. Eksporter resultatene til CSV for å bevare posten utover lagringsvinduet.

Fase 2: Vurder kandidaten i et ikke-produksjonsmiljø

  1. Forbered en ikke-produksjonskopi av agenten, følg Copilot Studio-veiledningen for applikasjonslivssyklusstyring og agenttesting. Konfigurer miljøet slik at det representerer produksjon:

    • Bruk de samme agentinstruksjonene, temaene, kunnskapskonfigurasjonen, verktøyene, flytene, koblingene, språkene og sikkerhetsforutsetningene.
    • Bruk representative testidentiteter og forbindelser.
    • Bruk de samme datapolicyene og relevante administratorkontroller.
    • Bekreft regional tilgjengelighet og om overføring av data på tvers av geografi er nødvendig.
    • Noter eventuelle forskjeller mellom test og produksjon som kan påvirke resultatet.

  2. Bytt modell. Gå til agentens oversiktsside og velg kandidatens primærmodell i modellseksjonen . Det finnes separate innstillinger for dyp resonnering, generative svar og prompt-byggeren, så sjekk om agenten bruker disse funksjonene og om de også må endres.

  3. Kjør det samme testsettet på nytt, uendret, mot kandidatmodellen.

  4. Sammenlign de to løpene med akseptportene for å identifisere forbedringer og regresjoner.

  5. Inspiser orkestreringen kvalitativt i testchatten, ved å bruke aktivitetskartet for å bekrefte hvilke verktøy som ble valgt, i hvilken rekkefølge, og med hvilke parametere.

  6. Mål latens og forbruk for kandidaten og sammenlign dem med utgangspunktet.

Fase 3: Sanering

  1. Oppdater agentartefaktene modellendringen påvirker, og kjør testsettet på nytt mot den korrigerte agenten. Lær mer i Forbedre agenter ved bruk av evalueringsdrevet triage og utbedring.
  2. Iterer til opptaksgrensene er oppfylt, eller konkluder med at kandidatmodellen ikke er egnet og dokumenter hvorfor. Å velge å ikke oppgradere er et legitimt, evidensbasert resultat.

Fase 4: Godkjenn og deployer

  1. Få godkjenning på akseptportene fra agenteieren og godkjenneren, inkludert sikkerhets- og samsvarsgodkjenning når det gjelder kryss-geo eller eksterne modeller.
  2. Distribuer gjennom den etablerte ALM-prosessen, og promoter løsningen fra test til produksjon. Ikke rediger produksjonsagenten manuelt.
  3. Fase utrullingen når kanalen tillater det. Publiser til et pilotpublikum eller en enkelt kanal først, observer resultatet, og utvid deretter.

Fase 5: Overvåk og lukk

  1. Overvåk produksjonsatferd mot akseptportene.
  2. Legg til nylig oppdagede feilmønstre i regresjonstestsettet.
  3. Steng migrasjonen først etter at akseptkriteriene er oppfylt i produksjonen.
  4. Bevar evalueringsbevisene og migrasjonsbeslutningsprotokollen for revisjon og for neste livssyklushendelse.

Important

Tilbakerullingsveien for en modellendring er å redistribuere den tidligere validerte løsningsversjonen, som er tregere enn en konfigurasjonsskifter. Denne forskjellen gjør evalueringsporten i fase 2 så viktig. Å fange opp en regresjon før utplassering er billigere enn å reversere en etterpå.

Monitor etter migrasjon

Arbeidet med modelllivssyklusen fortsetter etter utrulling. Overvåk:

  • Agentvurderingsresultater og beståttprosenter for kritiske scenarioer.
  • Produksjonsanalyse, transkripsjoner, aktivitet, feil og tilbakemeldinger fra brukerne.
  • Feil i instruksjonsoppfølging og verktøyvalg.
  • Latens, timeouts og pålitelighet.
  • Forbruk endres.
  • Sikkerhets-, etterlevelses- og regionale behandlingshensyn.

Når produksjonsovervåking identifiserer et nytt feilmønster, legg til et representativt tilfelle i regresjonstestsettet. Denne praksisen forbedrer neste modellevaluering og gjør produksjonslæring om til et varig kvalitetsgrunnlag.

Telemetri på miljønivå sender OpenTelemetry GenAI-strekk til Application Insights, inkludert modellen som brukes for hver agentinvokasjon. Bruk det til å bekrefte hvilken modell produksjonstrafikk som faktisk kjører på, og for å sammenligne verktøyvalg og pålitelighet før og etter en migrering.

  • Last updated on