Planlegg Copilot Studio-agentdistribusjoner for gjennomstrømming og frekvensbegrensninger

Produksjonsklare Copilot Studio-agenter trenger mer enn lisensiering og total planlegging av budskapsvolum. De trenger også gjennomstrømningsplanlegging. Gjennomstrømningsplanlegging omfatter hvor raskt trafikken ankommer, hvilke plattformtjenester løsningen benytter, og hvilke begrensninger som gjelder for hele løsningen.

Denne artikkelen hjelper løsningsarkitekter, skapere og Power Platform-administratorer med å forberede store Copilot Studio-distribusjoner for trafikk i produksjonsmiljø, brukeraksepttesting (UAT), lasttesting, business-to-customer (B2C)-scenarioer og autonome arbeidsbelastninger.

Kapasitetstildeling er adskilt fra lisensklargjøring

Copilot Studio-planlegging for produksjon har to relaterte, men separate arbeidsstrømmer:

  • Lisenstildeling omfatter kommersielle rettigheter og forbruk, slik som lisenser, kreditter, forhåndsbetalt kapasitet, meldingspakker og betal-etter-forbruk-fakturering.
  • Kapasitetsklargjøring dekker hvor raskt trafikken kan behandles før begrensing eller tjenestebeskyttelseskontroller trer i kraft.

Notat

Microsoft bruker begrepet kvoter for Copilot Studio-frekvensgrenser. I det bredere bransjevokabularet kalles denne planleggingsaktiviteten ofte for frekvensklargjøring. Gå gjennom de publiserte grensene, estimer maksimale forespørselsrater, og planlegg før produksjonstrafikken starter.

Forbruksbetaling kan øke tilgjengelige grenser sammenlignet med konfigurasjoner med lavere kapasitet, men gjennomstrømningen er ikke uendelig. Sjekk de gjeldende Copilot Studio-grensene, Power Platform-forespørselstildelinger, Power Automate-grenser, Dataverse-tjenestebeskyttelsesgrenser, regler for tilkoblingsbegrensning og nedstrøms API-grenser.

Hva skjer når det oppstår begrensing?

Begrensing er en tjenestebeskyttelsesmekanisme. Den beskytter delte tjenester mot trafikkmønstre som overskrider publiserte grenser, kontroller for høyere kapasitet eller tjenestekapasitet. Det nøyaktige symptomet avhenger av hvilken tjeneste som er begrenset.

Når en grense nås, er konsekvensen mer enn bare et spørsmål om planlegging. Forespørsler kan begrenses, forsinkes, blokkeres eller avvises. I brukerrettede nettprater kan denne virkemåten fremstå som et midlertidig tjenesteavbrudd. Brukeren kan for eksempel ikke sende neste melding, få beskjed om at agenten ikke er tilgjengelig eller at bruksgrensen er nådd, eller oppleve et mislykket trinn fordi en flyt, kobling, Dataverse-kall, KI-tjeneste eller nedstrøms API har nådd sin grense.

Lær om Copilot Studio-spesifikke symptomer og feilmeldinger i Løs bruksgrensefeil i agenter.

Hvordan hastighetsgrenser måles

Ratebegrensninger angir hvor mye trafikk en tjeneste kan akseptere i et bestemt tidsvindu. Tenk på disse vinduene på et detaljert nivå: per minutt, per fem minutter, per 10 minutter, per time, per dag, per uke og per måned. Månedlig eller ukentlig volum hjelper med å estimere total etterspørsel, men kortere tidsvinduer er viktige for ratebegrensning fordi begrensing ofte skyldes konsentrert trafikk.

Et B2C-selskap kan for eksempel motta mesteparten av agenttrafikken i løpet av én fokusert kampanjetime. Det ukentlige gjennomsnittet kan virke lavt, men den ene timen kan fortsatt skape nok gjennomstrømningstrykk til å forårsake begrensing eller avbrudd i tjenesten. En utforming som virker tilstrekkelig på ukentlig eller månedlig nivå, kan likevel overskride grensene under en times toppbelastning.

Forstå omfanget av begrensninger

Grenser gjelder ikke bare på det individuelle agentnivået. Avhengig av tjenesten kan de gjelde på miljønivå, verktøynivå, API-nivå, tilkoblingsnivå, kanalnivå eller nivået for nedstrøms tjenester.

Copilot Studio-grensen for antall meldinger til agenter er for eksempel satt per Dataverse-miljø. Når du estimerer trafikk, inkluder alle kilder som sender meldinger til agenter i det miljøet, inkludert brukerrettede kanaler, integrasjoner, autonome arbeidsbelastninger og Azure Bot Framework-ferdigheter. Sjekk gjeldende verdier og omfang i Copilot Studio-kvoter og -grenser.

Bestem om frekvensklargjøring gjelder for din agent

Ikke alle agenter trenger detaljert arbeid med frekvensklargjøring. En enkel intern agent for vanlige spørsmål med en lite målgruppe, forutsigbar bruk og få eller ingen nedstrømskall vil sannsynligvis ikke nå frekvensbegrensninger. Pristilrettelegging blir viktig når en agent kan overskride grenser for forespørsler per minutt eller forespørsel per time, selv om det månedlige volumet virker beskjedent.

Tenk på forventet trafikk tidlig i prosjektet, sammen med løsningsutforming. Før brukeraksepttesting (UAT) og belastningstesting starter, bør teamet være trygge på at agentutformingen, miljøet, tilkoblede tjenester og nedstrøms systemer kan støtte forventet gjennomstrømningsprofil.

Denne veiledningen er spesielt viktig for større, mer intensive bedriftsagenter der trafikken kan komme i puljer, mange brukere eller hendelser kan aktivere agenten samtidig, eller hver samhandling er avhengig av flere plattformtjenester. Det kan også gjelde mindre agenter med konsentrerte bruksmønstre, for eksempel et kort oppstartsvindu, en avdelingsomfattende hendelse, en planlagt prosess eller en arbeidsflyt som skaper mange forespørsler på noen få minutter.

B2C-agenter og autonome agenter krever tidlig frekvensklargjøring

Kundevendte B2C-agenter kan motta trafikk fra kampanjer, offentlige nettsider, kundeportaler, hendelseskommunikasjon, produktlanseringer eller sesongbasert etterspørsel. Autonome agenter kan generere høyfrekvent trafikk fra tidsplaner, hendelser, bakgrunnsprosesser eller når de kaller flere verktøy og arbeidsflyter.

Tips

Behandle B2C-brukstilfeller og autonome brukstilfeller som førsteklasses klargjøringsscenarioer. De kan generere høyere trafikk, flere samtidige forespørsler og høyfrekvent bakgrunnsaktivitet raskere enn mange nettpratopplevelser rettet mot ansatte.

Bruk toppbelastningsperioder, ikke bare månedlige totaler

Spør om agenten kan lage konsentrerte forespørsler på ett minutt eller en time. Et mindre scenario kan fortsatt ha behov for ratebegrensning hvis en lasttest, kampanje, avbruddssvar eller automatisert utløser sender for mange meldinger, kall til generativ kunstig intelligens, arbeidsflythandlinger, koblingskall eller Dataverse-forespørsler gjennom miljøet i løpet av en kort tidsperiode.

Månedlig volum er nyttig for å estimere total etterspørsel, men det er ikke nok for frekvensklargjøring. Konverter forventet bruk til mindre tidsintervaller slik at du kan sammenligne utformingen med nåværende forespørsler per minutt (RPM), forespørsler per time (RPH), toppbelastning og daglige grenser fra de koblede sidene.

Bygg både en gjennomsnittlig trafikkprofil og en toppbelastningsprofil. Hvis mesteparten av trafikken for eksempel skjer hver dag mellom kl. 17 og 18, bør toppbelastningstimen reflektere denne konsentrasjonen. Det daglige estimatet trenger ikke å være 24 ganger toppbelastningstimen hvis trafikken er konsentrert i ett tidsvindu.

Når ellers kan begrensing oppstå?

Begrensning kan også oppstå når:

  • En betydelig mengde ansatte bruker agenten under en forutsigbar toppbelastningsperiode, for eksempel et arrangement eller opplæring for hele avdelingen.
  • En markedsføringskampanje, driftsavbrudd, lansering eller planlagt forretningshendelse skaper en kort trafikktopp.
  • Power Automate-flyter inkluderer løkker, gjentatte forsøk, paginering eller underordnede flyter som øker volumet av forespørsler.
  • Rapportering, revisjon, telemetrieksport eller utskrift kjøres synkront i brukerens omgangsbane.
  • Flere agenter eller arbeidsbelastninger deler samme miljø, identitet, kobling eller nedstrøms API-kapasitet.
  • Lasttester eskalerer raskere enn produksjonsarkitekturen eller støtteprosessen var forberedt på å håndtere.

Hvor du kan finne relevante frekvensgrenser

Copilot Studio har sine egne begrensninger, og agentens kjøretidsbane kan inkludere andre tjenester med egne grenser. Gjennomgå alle relevante begrensninger for tjenestene agenten din benytter.

Copilot Studio-grenser

Vurder klargjøringsområde Hva som skal slås opp Hvor du kan sjekke gjeldende verdier Slik bruker det
Meldinger til en agent Nåværende RPM/RPH-grense og omfang for meldinger sendt til agenten. Kvoter og begrensninger for Copilot Studio Sammenlign forventede meldinger per minutt og per time for Dataverse-målmiljøet.
Meldinger for generativ kunstig intelligens Gjeldende grense for generativ iverksetting, agenthandlinger, KI-verktøy, agentarbeidsflythandlinger og generativt svar. Generative KI-meldinger til en agent Modeller KI-tunge og autonome scenarioer i forhold til gjeldende publiserte grenser.
Autonome utløsernoder Gjeldende begrensninger som gjelder når en autonom agent utløses av hendelser, tidsplaner eller bakgrunnsprosesser. Kvoter og begrensninger for Copilot Studio Modeller hendelsesdrevne og planlagte arbeidsbelastninger separat fra interaktiv nettprattrafikk.
Copilot Studio-abonnementsforespørselsgrenser Nåværende Power Platform-forespørselsgrenser som gjelder for bruk av Copilot Studio. Copilot Studio-abonnementsgrenser Bruk disse verdiene sammen med planlegging av frekvensbegrensninger for flyter, Dataverse og tilkoblede tjenester.

Andre plattformbegrensninger å vurdere

Den laveste grensen i kjøreveien bestemmer brukeropplevelsen. En Copilot Studio-agent kan være innenfor sine egne grenser mens en flyt, kobling, Dataverse-kall, språktjeneste eller eksternt API er begrenset.

Notat

Andre plattformbegrensninger kan påvirke agenten din hvis den bruker andre komponenter i agentens forespørselsbane. Ta også disse begrensningene i betraktning, inkludert Power Platform, Power Automate, Dataverse, koblinger, språktjenester og nedstrøms systemer.

Kjøretidsområde Hva du skal se på Vurder klargjøringsspørsmål Hvor du kan sjekke gjeldende grenser
Power Platform-foresprøselsplan Forespørsler på tvers av Power Automate, Copilot Studio-arbeidsflytkall, Dataverse-bruk, Power Apps og Dynamics 365. Hvilken bruker, tilkobling, appbruker eller tjenestekontohaver genererer forespørslene? Er tildelinger av forespørsler tilstrekkelige for forventet daglig og toppbelastning? Forespørselsgrenser og -tildelinger
Power Automate-flyt Utløsere, handlinger, løkker, underordnede flyter, HTTP-handlinger, koblingshandlinger, nye forsøk, paginering og samtidighet. Hvor mange handlinger opprettes per agentomgang? Er topp-, samtidighets-, utløser- og koblingsgrenser relevante her? Forstå plattformgrenser og unngå begrensning

Grenser for automatiske og planlagte flyter samt direkteflyter
Dataverse CRUD-operasjoner, programtillegg, arbeidsflyter, tildelings-/delingsoperasjoner, koblingskall og systemoperasjoner som er nødvendige for å gjennomføre transaksjoner. Hvilke brukere, appbrukere eller tjenestekontohavere genererer Dataverse-kall? Er det sannsynlig at grenser for tjenestebeskyttelse eller virkemåte ved nye forsøk gjelder? API-grenser for tjenestebeskyttelse

Oversikt over Dataverse API-grenser
Koblinger Standardkoblinger, Premium-koblinger, egendefinerte koblinger, koblingsspesifikk begrensing og nedstrøms API-er. Hvilken kobling er flaskehalsen? Håndhever nedstrømstjenesten sin egen frekvensgrense? Grenser for API-gjennomstrømming i koblinger

Power Automate-koblingsreferanse
Samtalebasert språkforståelse (CLU) og KI-tjenester CLU-kall, KI-instrukser, søke- og oppsummeringsoperasjoner, modellbaserte verktøy, nyttelaststørrelse og tjenestespesifikke begrensninger. Kaller hver bruker opp en språk- eller KI-tjeneste? Blir disse kallene gjentatt under forsøk eller iverksetting? Grenser for samtalebasert språkforståelse

Kvoter og begrensninger for Copilot Studio
Eksterne API-er og bransjesystemer Leverandør-API-er, interne API-er, databaser, mellomvare, gateways og egendefinerte tjenester. Hvilken begrensning håndhever eieren av den nedstrøms tjenesten? Finnes det en kontrakt for nye forsøk, en kø eller en baktrykkstrategi? Bruk eieren av den nedstrøms tjenestens nåværende grenser, serviceavtale og kundestøtteprosess.

Utform for å redusere gjennomstrømningstrykk

Ikke gjør frekvensøkninger første tiltak i utformingen. Gjennomgå først agentutformingen og optimaliser effektiviteten. Hvis agenten må slå opp noe, gjør eksterne kall bare når det er nødvendig, optimaliser API-kall, og unngå unødvendig mange forespørsler på tvers av Copilot Studio, Power Automate, Dataverse, koblinger og nedstrøms systemer.

Etter at utformingen er effektiv, kontrollerer du gjennomstrømningen slik at trafikken når plattformen på en forutsigbar måte:

  • For miljønivåbegrensninger vurder å dele agenter på tvers av flere miljøer hvis denne tilnærmingen samsvarer med driftsutformingen. Denne tilnærmingen kan bidra til å hindre at agenter med høyt volum, forretningsenheter, områder eller autonome arbeidsbelastninger må konkurrere med ikke-relaterte arbeidsbelastninger om de samme miljøspesifikke grensene.
  • For autonome agenter bør du bruke køer, partibehandling, utløserfiltre, planlagt behandling, kontroller for nye forsøk og overvåking, slik at bakgrunnsarbeid ikke kommer som en ukontrollert lasttopp.
  • Flytt planlagte oppgaver, rapportering, revisjonseksport og telemetriarbeid utenfor den interaktive nettpraten når det er mulig.
  • Gå gjennom resultatene fra lasttester og produksjonstelemetri for å identifisere hvor forespørslene konsentreres, og juster deretter agenten, flytene, koblinger og nedstrøms API-er før du ber om høyere grenser.

Autonome agenter er unikt posisjonert til å maksimere utnyttelsen av sin tildelte kapasitet med robust forutsigbarhet og observerbarhet ved å stille forespørsler i kø og kontrollere utløsingsfrekvensen.

Tiltak hvis standardrategrenser ikke er tilstrekkelige

Hvis estimatet for trafikk i topperioder viser at agenten eller en tilkoblet tjeneste kan overstige de publiserte grensene, start prosessen for å be om høyere frekvensgrenser før UAT, lasttesting eller produksjonslansering. Ikke vent på den første produksjonsfeilen.

Notat

Copilot Studio er en SaaS-tjeneste med frekvensbegrensninger for å beskytte tjenesten for alle kunder. Med riktig begrunnelse kan ingeniørteamet aktivere tilpassede grenser for godkjente scenarioer.

Åpne en støtteforespørsel

Administratorer kan be om støtte fra administrasjonssenteret for Power Platform.

Åpne saken tidlig og inkluder de beste tilgjengelige anslagene. Jo mer detaljer du gir, desto enklere blir gjennomgangsprosessen. Oppdater forespørselen etter hvert som utformingen justeres eller lasttesting gir observerte data.

Kjerneinformasjon som bør inkluderes

Informasjon Description
Miljø-ID Dataverse-miljøet hvor agenten kjører.
Agentnavn eller -identifikator Agenten som er berørt av forespørselen.
Virksomhetsinnvirkning Kritisk innvirkning hvis standardgrensene ikke er nok.
Kjent informasjon Informasjon om scenario, kanal, lanseringskontekst, forretningskritikalitet, og om det er B2C, autonomt, ansattvendt eller til intern bruk.
Agentøyeblikksbilde Et øyeblikksbilde eller en eksport som hjelper kontrolløren med å forstå agentens konfigurasjon, utforming, tilkoblede tjenester og relevante innstillinger.
agentutforming Overordnet beskrivelse av emner, bruk av generativ kunstig intelligens, kunnskapskilder, handlinger, flyter, koblinger, Dataverse-kall og eksterne API-er som benyttes av agenten.
Gjennomsnittlig trafikkestimat Forventet gjennomsnittlig trafikk per time, dag, uke eller måned.
Topptrafikkestimat Forventede toppmeldinger, økter, kall til generativ kunstig intelligens, flythandlinger, tilkoblingskall, Dataverse-forespørsler og eksterne API-kall der det er kjent.

Ytterligere detaljer som kan være til hjelp

Informasjon Description
Datointervall Start- og sluttdato for den forespurte økningen. Separate datointervaller for belastningstest, brukergodkjenningstest og produksjon dersom de er forskjellige.
Toppbelastningsmønster Topperioder, tidssoner, forventede toppdrivere og om trafikken er konsentrert i et kort daglig vindu.
Øktprofil Samtidige økter, gjennomsnittlig og toppøktlengde, meldinger per økt og spørsmål per økt.
Typiske eksempler på økter Representative brukerstier, typiske trinn utført, brukte verktøy og eksempler på økt-ID-er der tilgjengelig.
Kjøretidsbane Flyter, handlinger, KI-instrukser, kunnskapskall, Dataverse-forespørsler, koblinger og API-er per samhandling.
Toppbelastning per funksjon Toppvolum per agent, funksjon, bruker, miljø, kobling, minutt, time og dag der det er kjent.
Produkter som trenger gjennomgang Om forespørselen gjelder Copilot Studio, forespørselstildelinger for Power Platform, Power Automate, koblinger, Dataverse, CLU-/KI-tjenester eller eksterne API-er.
Bevis Eksempler på økt-ID-er, feil, korrelasjons-ID-er, logger, lasttestresultater eller produksjonsobservasjoner.
Reduksjoner Oppsummer hva du allerede har prøvd, for å redusere gjennomstrømningstrykket. Referer til veiledningen Utforming for å redusere gjennomstrømningspress, inkludert utformingsgjennomgang, optimaliserte eksterne kall, miljøsegmentering, satsvis kjøring, kølegging, utløserfiltrering, planlegging, arbeidsbelastningsfordeling og andre optimaliseringer som allerede er på plass.

Viktig!

En gjennomstrømningsøkning er ikke garantert. Microsoft Kundestøtte vurderer forespørsler ut fra scenario, miljø, ønsket datoperiode, forventet trafikk, berettigelse, gjeldende grenser og tjenestekapasitet.

  • Last updated on