Planlegg Copilot Studio-agentutrullinger for gjennomstrømning og frekvensgrenser

Produksjonsklare Copilot Studio agenter trenger mer enn lisensiering og total planlegging av meldingsvolum. De trenger også gjennomstrømmingsplanlegging. Gjennomstrømmingsplanlegging dekker hvor raskt trafikken kommer, hvilke plattformtjenester løsningen kaller, og hvilke grenser som gjelder på tvers av hele løsningen.

Denne artikkelen hjelper løsningsarkitekter, beslutningstakere og Power Platform-administratorer med å klargjøre høyt volum Copilot Studio distribusjoner for produksjonstrafikk, testing av brukeraksept (UAT), belastningstesting, forretnings-til-kunde-scenarioer (B2C) og autonome arbeidsbelastninger.

Satsprovisjonering er separat fra lisensprovisjonering

Planlegging av Copilot Studio i produksjon har to relaterte, men separate arbeidsløp:

  • Lisensklargjøring dekker kommersielle rettigheter og forbruk, for eksempel lisenser, kreditter, forhåndsbetalt kapasitet, meldingspakker og betal-etter-bruk-fakturering.
  • Kapasitetstildeling beskriver hvor raskt trafikk kan behandles før begrensning eller tjenestebeskyttelse trer i kraft.

Note

Microsoft bruker termen quotas for Copilot Studio rentegrenser. I bredere bransjevokabular kalles denne planleggingsaktiviteten ofte renteklargjøring. Se gjennom de publiserte grensene, estimer topp forespørselsfrekvens og planlegg før produksjonstrafikken kommer.

Pay-as-you-go kan øke tilgjengelige grenser sammenlignet med konfigurasjoner med lavere kapasitet, men gjennomstrømming er ikke uendelig. Kontroller gjeldende Copilot Studio grenser, Power Platform-forespørselstildelinger, Power Automate grenser, begrensninger for datavers tjenestebeskyttelse, koblingsbegrensningsregler og nedstrøms API-grenser.

Hva skjer når hastigheten begrenses?

Begrensning er en tjenestebeskyttelsesvirkemåte. Den beskytter delte tjenester mot trafikkmønstre som overskrider publiserte grenser, seriekontroller eller tjenestekapasitet. Det nøyaktige symptomet avhenger av hvilken tjeneste som er begrenset.

Når en grense er nådd, er konsekvensen mer enn et planleggingsproblem. Forespørsler kan begrenses, forsinkes, blokkeres eller avvises. Denne virkemåten kan vises som et midlertidig tjenesteavbrudd i brukerbaserte chatter. Brukeren kan for eksempel ikke sende den neste meldingen, motta en agent-utilgjengelig eller bruksgrensemelding eller oppleve et mislykket trinn fordi en flyt, kobling, dataverssamtale, AI-tjeneste eller nedstrøms API nådde grensen.

Lær om Copilot Studio-spesifikke symptomer og feilmeldinger i Løse feil knyttet til bruksgrenser i agenter.

Hvordan rentegrenser måles

Rentegrenser måler hvor mye trafikk en tjeneste kan godta i løpet av et bestemt tidsvindu. Tenk på disse vinduene detaljert: per minutt, per fem minutter, per 10 minutter, per time, per dag, per uke og per måned. Månedlig eller ukentlig volum bidrar til å estimere total etterspørsel, men kortere vinduer betyr noe for renteavklaring fordi begrensning ofte skyldes konsentrert trafikk.

Et B2C-firma kan for eksempel få mesteparten av agenttrafikken i løpet av én fokusert kampanjetime. Det ukentlige gjennomsnittet kan se lavt ut, men den ene timen kan fortsatt skape nok gjennomstrømmingstrykk til å forårsake begrensninger eller tjenesteavbrudd. En utforming som ser trygg ut på ukentlig eller månedlig nivå, kan fortsatt overskride grensene i løpet av en topp på én time.

Forstå grenseomfanget

Grenser gjelder ikke bare på det individuelle agentnivået. Avhengig av tjenesten kan de brukes på miljønivå, verktøynivå, API-nivå, koblingsnivå, kanalnivå eller nedstrøms servicenivå.

For eksempel gjelder grensene for meldinger til agent i Copilot Studio per Dataverse-miljø. Når du estimerer trafikk, inkluder alle kilder som sender meldinger til agenter i det miljøet, inkludert brukerrettede kanaler, integrasjoner, autonome arbeidsbelastninger og Azure Bot Service ferdigheter. Kontroller gjeldende verdier og omfang i Copilot Studio kvoter og grenser.

Bestem om prisavklaring gjelder for agenten din

Ikke alle agenter trenger detaljert satsklargjøringsarbeid. En enkel intern faq agent med et lite publikum, forutsigbar bruk, og få eller ingen nedstrøms samtaler er usannsynlig å treffe rentegrenser. Renteklargjøring blir viktig når en agent kan overskride forespørsler per minutt eller forespørsler per time grenser, selv om det månedlige volumet ser beskjedent ut.

Tenk på forventet trafikk tidlig i prosjektet, sammen med løsningsutforming. Før testing av brukergodkjenning (UAT) og belastningstesting begynner, bør teamet være sikre på at agentutforming, miljø, tilkoblede tjenester og nedstrømssystemer kan støtte den forventede gjennomstrømsprofilen.

Denne veiledningen er viktig mest for større, mer intensive virksomhetsagenter der trafikken kan komme i utbrudd, mange brukere eller hendelser kan aktivere agenten samtidig, eller hver samhandling avhenger av flere plattformtjenester. Det kan også gjelde for mindre agenter med konsentrerte bruksmønstre, for eksempel et kort lanseringsvindu, en hendelse for hele avdelingen, en planlagt prosess eller en arbeidsflyt som oppretter mange forespørsler om noen minutter.

B2C og autonome agenter krever tidlig rate klargjøring

Kunderettede B2C-agenter kan motta trafikk fra kampanjer, offentlige nettsteder, kundeportaler, hendelseskommunikasjon, produktlanseringer eller sesongbasert etterspørsel. Autonome agenter kan generere høyfrekvent trafikk fra tidsplaner, hendelser, bakgrunnsprosesser eller når de kaller opp flere verktøy og arbeidsflyter.

Tip

Behandle B2C- og selvbetjente brukstilfeller som prioriterte scenarier for takstklargjøring. De kan generere trafikktopper, flere samtidige forespørsler og høyfrekvent bakgrunnsaktivitet raskere enn mange chatopplevelser rettet mot ansatte.

Bruk toppvinduer, ikke bare månedlige totalsummer

Spør om agenten kan opprette konsentrerte forespørsler om et minutt eller en time. Et mindre scenario kan fremdeles trenge hastighetsklargjøring hvis en belastningstest, kampanje, avbruddsrespons eller automatisert utløser sender for mange meldinger, generative AI-anrop, arbeidsflythandlinger, koblingssamtaler eller dataverse forespørsler gjennom miljøet i et kort vindu.

Månedlig volum er nyttig for å estimere total etterspørsel, men det er ikke nok for renteklargjøring. Konverter forventet bruk til mindre tidsvinduer, slik at du kan sammenligne utformingen med gjeldende forespørsler per minutt (RPM), forespørsler per time (RPH), burst og daglige grenser fra de koblede sidene.

Bygg både en gjennomsnittlig trafikkprofil og en topp trafikkprofil. Hvis for eksempel mest trafikk skjer hver dag mellom 17:00 og 18:00, bør timetoppen gjenspeile denne konsentrasjonen. Det daglige estimatet trenger ikke å være 24 ganger rushtiden hvis trafikken er konsentrert i ett vindu.

Bruk disse estimatene til å dimensjonere og validere designet. Estimater er ikke tilstrekkelig begrunnelse for en forespørsel om økt kapasitet. Forespørsler vurderes mot observert trafikk fra en pilotfase, som beskrevet i Kjør en pilotfase før man ber om økt gjennomstrømning.

Når ellers kan begrensing oppstå?

Struping kan også oppstå når:

  • En stor ansattbruker agenten i et forutsigbart toppvindu, for eksempel et arrangement for hele avdelingen eller opplæring.
  • En markedsføringskampanje, et avbrudd, lanserings- eller planlagt forretningsarrangement skaper en kort trafikktopp.
  • Power Automate flyter inkluderer løkker, nye oppføringer, paginering eller underordnede flyter som forsterker forespørselsvolumet.
  • Rapportering, overvåking, telemetrieksport eller utskriftsopptak kjøres synkront i brukerens turbane.
  • Flere agenter eller arbeidsbelastninger deler samme miljø-, identitets-, koblings- eller nedstrøms API-kapasitet.
  • Belastningstester skaleres opp raskere enn produksjonsarkitekturen eller støtteprosessen var forberedt på å håndtere.

Her kan du slå opp relevante rentegrenser

Copilot Studio har sine egne grenser, og agentens kjøretidsbane kan omfatte andre tjenester med egne grenser. Se gjennom alle relevante grenser for tjenestene agenten din bruker.

Copilot Studio-begrensninger

Vurder klargjøringsområde Hva som skal slås opp Her kontrollerer du gjeldende verdier Hvordan bruke den
Meldinger til en agent Nåværende RPM- og RPH-grenser og omfang for meldinger sendt til agenten. Copilot Studio-kvoter og -grenser Sammenlign forventede meldinger per minutt og per time for det målbaserte dataversmiljøet.
Generative AI-meldinger Gjeldende grense for generativ orkestrering, agenthandlinger, AI-verktøy, agentarbeidsflythandlinger og generative svar. Generative AI-meldinger til en agent Modell ai-tunge og autonome scenarier mot dagens publiserte grenser.
Autonome utløsernoder Gjeldende grenser som gjelder når en autonom agent utløses av hendelser, tidsplaner eller bakgrunnsprosesser. Copilot Studio-kvoter og -grenser Modellhendelsesdrevne og planlagte arbeidsbelastninger separat fra interaktiv chattrafikk.
Copilot Studio begrensninger for abonnementsforespørsel Gjeldende power platform-forespørselsgrenser som gjelder for Copilot Studio bruk. Copilot Studio abonnementsgrenser Bruk disse verdiene sammen med planlegging av hastighetsbegrensninger for flyter, Dataverse og tilkoblede tjenester.

Andre plattformgrenser å vurdere

Den laveste grensen i kjøretidsbanen bestemmer brukeropplevelsen. En Copilot Studio agent kan være innenfor sine egne grenser, mens en flyt, kobling, dataverssamtale, språktjeneste eller ekstern API er begrenset.

Note

Andre plattformgrenser kan påvirke agenten din hvis den bruker andre komponenter i agentforespørselsbanen. Ta hensyn til disse grensene også, inkludert Power Platform, Power Automate, Dataverse, koblinger, språktjenester og nedstrømssystemer.

Kjøretidsområde Hva du skal se på Vurder klargjøringsspørsmål Her kan du kontrollere gjeldende grenser
Power Platform-foresprøselsplan Forespørsler på tvers av Power Automate, Copilot Studio arbeidsflytkall, datavers bruk, Power Apps og Dynamics 365. Hvilken bruker, tilkobling, programbruker eller tjenestekontohaver genererer forespørslene? Er forespørselstildelinger tilstrekkelige for den forventede daglige og høyeste arbeidsbelastningen? Forespørsler om grenser og tildelinger
Power Automate-flyter Utløsere, handlinger, løkker, underordnede flyter, HTTP-handlinger, koblingshandlinger, nye oppføringer, paginering og samtidighet. Hvor mange handlinger opprettes per agentsving? Er serie-, samtidighets-, utløser- og koblingsgrenser i omfang? Forstå plattformgrenser og unngå struping
Begrensninger for automatiserte, planlagte og umiddelbare flyter
Dataverse CRUD-operasjoner, plugin-moduler, arbeidsflyter, tilordne/dele operasjoner, koblingssamtaler og systemoperasjoner som kreves for å fullføre transaksjoner. Hvilke brukere, programbrukere eller tjenestekontohavere genererer dataverse anrop? Er tjenestebeskyttelsesgrenser eller virkemåte for forsøk på nytt sannsynlig å gjelde? API-grenser for tjenestebeskyttelse
Oversikt over Dataverse API-grenser
Koblinger Standardkoblinger, Premium-koblinger, egendefinerte koblinger, koblingsspesifikk begrensning og nedstrøms API-er. Hvilken kobling er flaskehalsen? Håndhever nedstrømstjenesten sin egen rentegrense? API-gjennomstrømmingsgrenser for koblinger
Power Automate-koblingsreferanse
Forståelse av samtalespråk (CLU) og AI-tjenester CLU-anrop, AI-ledetekster, søke- og oppsummeringsoperasjoner, modellstøttede verktøy, nyttelaststørrelse og tjenestespesifikke grenser. Innebærer hver brukers tur et kall til en språk- eller AI-tjeneste? Gjentas disse samtalene under nye forsøk eller orkestrering? Begrensninger for forståelse av samtalespråk
Copilot Studio-kvoter og -grenser
Eksterne API-er og bransjesystemer Leverandør-API-er, interne API-er, databaser, mellomvare, gatewayer og egendefinerte tjenester. Hvilken grense håndhever nedstrømseieren? Finnes det en strategi for nye forsøk, en kø eller en baktrykksstrategi? Bruk nedstrøms tjenesteeierens gjeldende grenser, serviceavtale (serviceavtale) og støtteprosess.

Utforming for å redusere gjennomstrømmingstrykk

Ikke la økte satser være det første designtiltaket ditt. Først kan du se gjennom agentutformingen og optimalisere effektiviteten. Hvis agenten må slå opp noe, må du holde eksterne anrop tilsiktet, optimalisere API-anrop og unngå unødvendig forespørselsvolum på tvers av Copilot Studio, Power Automate, Dataverse, koblinger og nedstrømssystemer.

Når utformingen er effektiv, kan du kontrollere gjennomstrømmingen slik at trafikken når plattformen på en forutsigbar måte:

  • For begrensninger på miljønivå bør du vurdere å dele agenter på tvers av flere miljøer hvis denne tilnærmingen samsvarer med den operative utformingen. Denne tilnærmingen kan bidra til å hindre at agenter med høyt volum, forretningsenheter, områder eller autonome arbeidsbelastninger konkurrerer med ikke-relaterte arbeidsbelastninger for de samme miljøomfangene.
  • For autonome agenter kan du bruke køer, gruppering, utløserfiltre, planlagt behandling, prøve kontroller på nytt og overvåke, slik at bakgrunnsarbeid ikke kommer som et ukontrollert utbrudd.
  • Flytt planlagt, rapportering, revisjonseksport og telemetriarbeid utenfor den interaktive chatbanen når det er mulig.
  • Se gjennom belastningstestresultater og produksjonstelemetri for å identifisere hvor forespørslene konsentrerer seg, og still deretter inn agenten, flytene, koblingene og nedstrøms API-ene før du ber om høyere grenser.

Autonome agenter er unikt posisjonert for å maksimere bruken av sin tildelte kapasitet med robust forutsigbarhet og overholdelse ved å sette forespørsler i kø og kontrollere deres utløserhastigheter.

Kjør en pilotfase før du ber om økt kapasitet

Standardgrenser imøtekommer de fleste produksjonsagenter, inkludert agenter som betjener tusenvis av månedlige aktive brukere. Før du planlegger en økning i gjennomstrømningen, må du bekrefte at agenten faktisk trenger en.

Å gå rett til en fullskala lansering er ikke et støttet utrullingsmønster. Slipp agenten til en delmengde av den tiltenkte målgruppen først, observer reell bruk, og bruk disse målingene til å planlegge hele utrullingen. En pilotfase reduserer både oppskytingsrisikoen og gir bevis som en forespørsel om økt gjennomstrømning krever.

Important

Forespørsler om økning i gjennomstrømningen vurderes i forhold til observert bruk. Forventede volumer, estimater produsert under design, små brukeraksepteringstester (UAT) og syntetiske belastningstester aksepteres ikke som begrunnelse alene. Kjør en pilotfase og send inn de målte resultatene.

Reell bruk skiller seg rutinemessig fra estimater før lansering. Sesjonslengde, meldinger per økt, hvor ofte brukere når generative svar eller handlinger, retry-atferd, og antall flyt-, connector-, Dataverse- og eksterne API-kall per tur er alle vanskelige å forutsi før agenten er i hendene på reelle brukere. En pilot avdekker grensene som betyr noe og trafikkmønstre som er vanskelige å anslå på forhånd.

Utform et effektivt pilotprosjekt

Pilotattributt Veiledning
Målgruppe Slipp til en stor, representativ del av målgruppen i stedet for et prosjekt- eller testteam. Pilotgruppen bør inkludere rollene, regionene og bruksområdene som forventes i full skala.
Varighet Kjør i minst én uke slik at piloten dekker en hel forretningssyklus, inkludert kjente toppperioder som skiftskifter, månedssluttbehandling, kampanjetimer eller planlagte autonome kjøringer.
Konfigurasjon Behold produksjonskjøretiden: de samme kanalene, temaene, generativ AI-konfigurasjon, kunnskapskilder, handlinger, flyter, koblinger og nedstrømssystemer som hele utrullingen bruker. Trafikk målt mot et redusert design kan ikke ekstrapoleres pålitelig.
Telemetri Slå på analyse-, Application Insights- og administrasjonssenterrapportering du trenger før piloten starter, slik at økter, meldinger, generative AI-anrop og feil blir fanget opp gjennom hele perioden.

Mål under pilotperioden

Fang opp verdiene som samsvarer direkte med de publiserte hastighetsgrensene:

  • Meldinger per minutt og per time, i gjennomsnitt og på topp.
  • Økter, samtidige økter, øktlengde og meldinger per økt.
  • Kall til generativ KI per interaksjon og per økt, inkludert KI-genererte svar, agenthandlinger og verktøy.
  • Power Automate-handlinger, tilkoblingskall og Dataverse-forespørsler genereres per agentrunde.
  • Begrensingshendelser, bruksgrensefeil, nye forsøk og latens under pilotens toppbelastningsperioder.
  • Størrelsen på pilotpublikummet, uttrykt som en andel av det fulle tiltenkte publikummet.

Ekstrapoler til full kapasitet

Skaler de observerte toppmålingene til hele publikum, og dokumenter metoden du brukte. Baseskalering på rushtrafikk under piloten, ikke daglige eller ukentlige gjennomsnitt, fordi throttling skyldes konsentrert trafikk. Ta hensyn til alt piloten ikke inkluderte, som ekstra regioner, kanaler, autonome arbeidsbelastninger eller en lanseringskampanje som konsentrerer trafikken mer enn pilotperioden gjorde.

Resultatet er en evidensbasert forespørsel: målt pilottrafikk, pilotens andel av publikum, ekstrapoleringsmetoden og det resulterende toppbehovet i full skala.

Dette gjør du hvis standard rentegrenser ikke er nok

Hvis observert pilottrafikk viser at agenten eller en tilkoblet tjeneste overskrider gjeldende publiserte grenser i full skala, start prosessen for å stille opp priser før du utvider utrullingen. Ikke vent på den første produksjonsfeilen.

Note

Copilot Studio er en SaaS-tjeneste med prisbegrensninger for å beskytte tjenesten for alle kunder. Med riktig justering kan ingeniørarbeid aktivere egendefinerte grenser for godkjente scenarier. Riktig begrunnelse betyr målt bruk fra en pilotfase, ikke en prognose.

Åpne en støtteforespørsel

Administratorer kan be om støtte fra administrasjonssenteret for Power Platform.

Åpne billetten etter pilotfasen, og inkluder de målte resultatene sammen med ekstrapoleringen til full kapasitet. Forespørsler som kun inneholder designtidsestimater eller små UAT-resultater kan ikke gjennomgås og forsinker økningen. Jo mer gjennomtenkt detalj du gir, desto raskere blir gjennomgangen. Oppdater forespørselen etter hvert som utrullingen utvides og mer telemetri blir tilgjengelig.

Kjerneinformasjon som skal inkluderes

Opplysninger Description
Miljø-ID Dataversmiljøet der agenten kjører.
Agentnavn eller identifikator Agenten som påvirkes av forespørselen.
Virksomhetsinnvirkning Kritisk innvirkning hvis standardgrensene ikke er nok.
Kjent informasjon Det som er kjent om scenarioet, kanalen, startkonteksten, forretningskritiskheten og om det er B2C, autonomt, ansattrettet eller internt.
Øyeblikksbilde av agent Et øyeblikksbilde eller en eksport som hjelper korrekturlesere med å forstå agentkonfigurasjon, utforming, tilkoblede tjenester og relevante innstillinger.
Agentutforming Beskrivelse på høyt nivå av emner, generativ ai-bruk, kunnskapskilder, handlinger, flyter, koblinger, dataversekall og eksterne API-er som brukes av agenten.
Pilotsammendrag Pilotdatoer og varighet, størrelsen på pilotpublikummet, og dette publikumet som andel av det fulle tiltenkte publikummet.
Observert gjennomsnittlig trafikk Målte gjennomsnittlig trafikk fra piloten etter minutt, time og dag.
Observert topptrafikk Målte toppmeldinger, økter, generative AI-kall, flythandlinger, koblingskall, Dataverse-forespørsler og eksterne API-kall under pilotens toppvinduer.
Ekstrapolert toppkrav Toppkravet ved full publikumsstørrelse, med ekstrapoleringsmetoden og eventuelle antakelser du har brukt.

Flere detaljer som kan hjelpe

Opplysninger Description
Datointervall Start- og sluttdato for den forespurte økningen. Oppgi separate datointervaller for belastningstest, brukeraksepteringstest og produksjon hvis de skiller seg.
Toppmønster Toppperioder, tidssoner, årsaker til forventede trafikktopper, og om trafikken er konsentrert i et kort tidsrom hver dag.
Øktprofil Samtidige økter, gjennomsnittlig og maksimal øktlengde, meldinger per økt og spørsmål per økt.
Typiske eksempler på økter Representative brukerbaner, vanlige trinn utført, verktøy som brukes og eksempeløkt-ID-er der de er tilgjengelige.
Kjøretidsbane Flyter, handlinger, ai-ledetekster, kunnskapssamtaler, dataverseforespørsler, koblinger og API-er per samhandling.
Topper på funksjonsnivå Maksimalt volum per agent, funksjon, bruker, miljø, kobling, minutt, time og dag der det er kjent.
Produkter som trenger gjennomgang Uansett om forespørselen omfatter Copilot Studio, ber Power Platform om tildelinger, Power Automate, koblinger, dataverse, CLU/AI-tjenester eller eksterne API-er.
Bevis Pilottelemetri, prøvesesjons-IDer, feil, korrelasjons-IDer, logger, throttling-hendelser og produksjonsobservasjoner. Lasttestresultater kan supplere pilotens telemetri, men ikke erstatte den.
Begrensninger Oppsummer det du allerede prøvde å redusere gjennomstrømmingstrykket. Se veiledningen Utforming for å redusere gjennomstrømningspress, inkludert designgjennomgang, optimaliserte eksterne kall, miljøsegmentering, batchbehandling, kølegging, utløserfiltrering, planlegging, fordeling av arbeidsbelastning og andre optimaliseringer som allerede er på plass.

Important

En gjennomstrømmingsøkning er ikke garantert. Microsoft Kundestøtte vurderer forespørsler basert på scenario, miljø, forespurt datoperiode, observert pilottrafikk, kvalifisering, nåværende grenser og tjenestekapasitet.

  • Sist oppdatert