Planera distribution av Copilot Studio-agenter för dataflöde och kvoter

Produktionsklara Copilot Studio-agenter behöver mer än licensiering och planering av den totala meddelandevolymen. De behöver också genomströmningsplanering. Genomströmningsplanering omfattar hur snabbt trafiken anländer, vilka plattformstjänster lösningen anropar och vilka begränsningar som gäller över hela lösningen.

Den här artikeln hjälper lösningsarkitekter, utvecklare och Power Platform-administratörer att förbereda högvolymsdistributioner av Copilot Studio för trafik i produktion, användartester (UAT), lasttester, business-to-customer (B2C)-scenarier och autonoma arbetsbelastningar.

Tariffprovisionering är separat från licensprovisionering

Planeringen av Production Copilot Studio har två relaterade men separata arbetsströmmar:

  • Licensförsörjning omfattar kommersiella rättigheter och konsumtion, såsom licenser, krediter, förbetald kapacitet, meddelandepaket och betalning efter användning.
  • Bandbreddsetablering omfattar hur snabbt trafik kan bearbetas innan begränsningar eller tjänstskyddskontroller träder i kraft.

Kommentar

Microsoft använder termen kvoter för hastighetsbegränsningar i Copilot Studio. I branschens allmänna terminologi kallas denna planeringsaktivitet ofta bandbreddsetablering. Granska de publicerade gränserna, uppskatta högsta förfrågningshastigheter och planera innan produktionstrafik startar.

Pay-as-you-go kan öka tillgängliga gränser jämfört med konfigurationer med lägre kapacitet, men genomströmningen är inte oändlig. Kontrollera de aktuella Copilot Studio-gränserna, Power Platform-förfrågningstilldelningar, Power Automate-gränser, Dataverse service protection-gränser, regler för strypning av anslutningsprogram och gränser för nedströms-API:er.

Vad händer när strypning uppstår?

Hastighetsbegränsning är ett beteende för att skydda tjänsten. Den skyddar delade tjänster från trafikmönster som överskrider publicerade gränser, burstkontroller eller tjänstekapacitet. Det exakta symtomet beror på vilken tjänst som stryps.

När en gräns nås är konsekvensen mer än bara en planeringsfråga. Förfrågningar kan strypas, fördröjas, blockeras eller avslås. I användarorienterade chattar kan detta beteende uppfattas som ett tillfälligt avbrott i tjänsten. Till exempel kan användaren inte skicka nästa meddelande, ta emot ett meddelande om att agenten är otillgänglig eller att användningsgränsen har nåtts, eller uppleva att ett steg misslyckas eftersom ett flöde, ett anslutningsprogram, ett Dataverse-anrop, en AI-tjänst eller ett nedströms-API har nått sin gräns.

Lär dig om Copilot Studio-specifika symtom och felmeddelanden i Lös användningsgränsfel i agenter.

Hur hastighetsgränser mäts

Hastighetsgränser mäter hur mycket trafik en tjänst kan acceptera under ett specifikt tidsfönster. Tänk på dessa tidsfönster på en detaljerad nivå: var minut, var femte minut, var tionde minut, var timme, var dag, var vecka och var månad. Månads- eller veckovolym hjälper till att uppskatta den totala efterfrågan, men kortare tidsintervall är viktiga för hastighetsallokering eftersom strypning ofta uppstår vid koncentrerad trafik.

Till exempel kan ett B2C-företag få det mesta av sin agenttrafik under kampanjens mest intensiva timme. Veckogenomsnittet kan verka lågt, men den där enda timmen kan ändå skapa tillräckligt stort dataflödestryck för att orsaka begränsningar eller tjänstavbrott. En lösning som verkar säker på vecko- eller månadsnivå kan ändå överskrida gränserna under en toppbelastning på en timme.

Förstå omfattningen av gränser

Gränser gäller inte bara på individuell agentnivå. Beroende på tjänsten kan begränsningarna gälla på miljönivå, verktygsnivå, API-nivå, anslutningsprogramnivå, kanalnivå eller på nivå för nedströms tjänster.

Till exempel tillämpas Copilot Studio meddelandegränser för agenter per Dataverse-miljö. När du uppskattar trafik, inkludera alla källor som skickar meddelanden till agenter i den miljön, inklusive användarorienterade kanaler, integreringer, autonoma arbetsbelastningar och Azure Bot Framework-färdigheter. Kontrollera de aktuella värdena och omfattningen i Copilot Studio kvoter och gränser.

Bestäm om bandbreddsetablering gäller för din agent

Inte varje agent behöver detaljerat arbete med att provisionera tariffer. En enkel intern FAQ-agent med liten publik, förutsägbar användning och få eller inga nedströmssamtal kommer sannolikt inte att nå hastighetsgränser. Prisfördelning blir viktig när en agent kan överskrida gränserna för förfrågningar per minut eller timme, även om dess månatliga volym verkar blygsam.

Tänk på förväntad trafik tidigt i projektet, tillsammans med lösningsdesign. Innan användaracceptanstestning (UAT) och belastningstestning påbörjas bör teamet vara säkra på att agentdesignen, miljön, de anslutna tjänsterna och nedströmssystemen kan stödja den förväntade genomströmningsprofilen.

Denna vägledning är viktigast för större, mer intensiva företagsklassade agenter där trafiken kan komma i vågor, många användare eller händelser kan anropa agenten samtidigt, eller varje interaktion är beroende av flera plattformstjänster. Detta kan även omfatta mindre agenter med intensiva användningsmönster, såsom ett kort lanseringsfönster, ett avdelningsövergripande evenemang, en schemalagd process eller ett arbetsflöde som ger upphov till många förfrågningar på några minuter.

B2C och autonoma agenter kräver tidig bandbreddsetablering

Kundinriktade B2C agenter kan ta emot trafik från kampanjer, offentliga webbplatser, kundportaler, incidentkommunikation, produktlanseringar eller säsongsvariationer i efterfrågan. Autonoma agenter kan generera högfrekvent trafik från scheman, händelser, bakgrundsprocesser eller när de anropar flera verktyg och arbetsflöden.

Dricks

Behandla B2C och autonoma användningsfall som förstklassiga provisioneringsscenarier. De kan generera plötsliga trafiktoppar, flera samtidiga förfrågningar och högfrekvent bakgrundsaktivitet snabbare än många chattlösningar för anställda.

Använd toppvärden, inte bara månadssummor

Fråga om agenten kan skapa koncentrerade förfrågningar på en minut eller timme. Även mindre scenarier kan behöva sätta upp hastighetsbegränsningar om ett belastningstest, en kampanj, ett svar på driftstörning eller en automatiserad trigger genererar för många meddelanden, generativ AI-anrop, Workflow-åtgärder, anslutningsprogramsanrop eller Dataverse-förfrågningar genom miljön under ett kort tidsfönster.

Månadsvolym är användbart för att uppskatta total efterfrågan, men räcker inte för att fastställa priser. Omvandla den förväntade användningen till mindre tidsfönster så att du kan jämföra designen med nuvarande förfrågningar per minut (RPM), förfrågningar per timme (RPH), spikbelastning och dagliga gränser från de länkade sidorna.

Skapa både en genomsnittlig trafikprofil och en högtrafikprofil. Till exempel, om den mesta trafiken sker varje dag mellan 17.00 och 18.00, bör timtoppen återspegla den koncentrationen. Den dagliga uppskattningen behöver inte motsvara 24 gånger toppbelastningen per timme om trafiken är koncentrerad till ett tidsfönster.

När annars kan begränsning inträffa?

Begränsning kan även inträffa när:

  • En stor grupp medarbetare använder agenten under en förutsägbar toppperiod, till exempel ett avdelningsomfattande evenemang eller en utbildning.
  • En marknadsföringskampanj, ett driftavbrott, en lansering eller ett planerat affärsevenemang ger upphov till en kortvarig trafikökning.
  • Power Automate-flöden innehåller slingor, omförsök, paginering eller underordnade flöden som ökar begärandevolymen.
  • Rapportering, auditering, telemetriexport eller transkriptionsinsamling körs synkront i användarens interaktionsflöde.
  • Flera agenter eller arbetsbelastningar delar samma miljö, identitet, anslutningsprogram eller nedströms API-kapacitet.
  • Lasttester ökar belastningen snabbare än vad produktionsarkitekturen eller supportprocessen var utformad för att hantera.

Var kan man söka relevanta prisgränser

Copilot Studio har sina egna begränsningar, och agentens körväg kan även omfatta andra tjänster med egna begränsningar. Granska alla relevanta begränsningar för de tjänster din agent använder.

Copilot Studio-gränser

Område för bandbreddsetablering Vad ska jag leta efter Var man kontrollerar aktuella värden Hur det används
Meddelanden till en agent Aktuell RPM/RPH-gräns och omfattning för meddelanden som skickas till agenten. Copilot Studio säljbudgetar och gränser Jämför förväntade meddelanden per minut och per timme för målmiljön Dataverse.
Generativa AI-meddelanden Nuvarande gräns för generativ orkestrering, agentåtgärder, AI-verktyg, arbetsflödesåtgärder för agenten och generativa svar. Generativa AI-meddelanden till en agent Modellera AI-tunga och autonoma scenarier utifrån de nuvarande publicerade gränserna.
Utlösarnoder för autonom prioritering Nuvarande begränsningar som gäller när en autonom agent triggas av händelser, scheman eller bakgrundsprocesser. Copilot Studio säljbudgetar och gränser Modellera händelsedrivna och schemalagda arbetsbelastningar separat från interaktiv chatttrafik.
Begränsningar för prenumerationsförfrågningar för Copilot Studio Nuvarande Power Platform-förfrågningsbegränsningar som gäller för användning av Copilot Studio. Copilot Studio prenumerationsbegränsningar Använd dessa värden tillsammans med genomströmningsbegränsningsplanering för flöden, Dataverse och anslutna tjänster.

Andra plattformsbegränsningar att ta hänsyn till

Den lägsta gränsen i körvägen avgör användarupplevelsen. En Copilot Studio-agent kan vara inom sina egna gränser medan ett flöde, ett anslutningsprogram, ett Dataverse-anrop, en språktjänst eller ett externt API är strypt.

Kommentar

Andra plattformsbegränsningar kan påverka din agent om den använder andra komponenter i agentens förfrågningsväg. Ta även hänsyn till dessa begränsningar, inklusive Power Platform, Power Automate, Dataverse, anslutningsprogram, språktjänster och nedströms system.

Körtidsområde Vad ska jag leta efter Frågor om ränteprovisionering Var man kontrollerar aktuella begränsningar
Plan för Power Platform-förfråganden Förfrågningar över Power Automate, Copilot Studio-arbetsflödessamtal, Dataverse-användning, Power Apps och Dynamics 365. Vilken användare, anslutning, applikationsanvändare eller tjänstehuvudperson genererar förfrågningarna? Är tilldelningen av förfrågningar tillräcklig för den förväntade dagliga och toppbelastningen? Begränsningar av begäranden och tilldelningar
Power Automate-flöden Utlösare, åtgärder, loopar, underordnade flöden, HTTP-åtgärder, anslutningsprogramsåtgärder, återförsök, paginering och samtidighet. Hur många handlingar skapas per agenttur? Omfattas begränsningarna för strömmar, samtidighet, utlösare och anslutningsprogram av detta? Förstå plattformsgränser och undvik begränsning

Begränsningar för automatiska, schemalagda och direkta flöden
Dataverse CRUD-åtgärder, insticksprogram, arbetsflöden, tilldelnings-/delningsåtgärder, anslutningsprogramsanrop och systemåtgärder som krävs för att slutföra transaktioner. Vilka användare, applikationsanvändare eller serviceprincipaler genererar Dataverse-anrop? Är det troligt att tjänsteskyddsbegränsningar eller återförsöksbeteende gäller? Begränsningar av API tjänsteskydd

Översikt över Dataverse API-begränsningar
Anslutningsprogram Standardanslutningsprogram, premiumanslutningsprogram, anpassade anslutningsprogram, anslutningsprogramspecifik begränsning och nedströms-API:er. Vilket anslutningsprogram är flaskhalsen? Enforcerar nedströmstjänsten sin egen hastighetsbegränsning? API-genomströmningsgränser på anslutningsprogram

Referens för Power Automate-anslutningsprogram
Konversationsspråkförståelse (CLU) och AI-tjänster CLU-anrop, AI-prompter, sök- och sammanfattningsåtgärder, modellbaserade verktyg, nyttolaststorlek och tjänstespecifika gränser. Utförs ett språk- eller AI-tjänstanrop vid varje användartur? Upprepas dessa anrop vid omförsök eller under orkestrering? Integrera konversationsspråkförståelse

Copilot Studio säljbudgetar och gränser
Externa API:er och affärssystem Leverantörs-API:er, interna API:er, databaser, middleware, gateways och anpassade tjänster. Vilken gräns upprätthåller ägaren nedströms? Finns det ett avtal om återförsök, en kö eller en strategi för baktryck? Använd den nedströms tjänstägarens nuvarande gränser, servicenivåavtal (SLA) och supportprocess.

Utforma för att minska genomströmningstrycket

Låt inte bandbreddsökningar vara din första åtgärd vid utformningen. Granska först agentens design och optimera effektiviteten. Om agenten behöver slå upp något, håll externa anrop avsiktliga, optimera API-anrop och undvik onödig mängd förfrågningar i Copilot Studio, Power Automate, Dataverse, anslutningsprogram och nedströmssystem.

Efter att designen har optimerats, hantera genomströmningen så att trafiken når plattformen på ett förutsägbart sätt:

  • Vid miljönivåbegränsningar, överväg att distribuera agenter över flera miljöer om det överensstämmer med er operativa design. Denna strategi kan hjälpa till att förhindra att agenter med hög volym, affärsenheter, regioner eller autonoma arbetsbelastningar konkurrerar med orelaterade arbetsbelastningar om samma miljöbaserade begränsningar.
  • För autonoma agenter använder du köer, batchbearbetning, utlösarfilter, schemalagd bearbetning, återförsökskontroller och övervakning så att bakgrundsarbete inte tas emot som en okontrollerad ström.
  • Flytta schemalagda, rapporterings-, revisionsexport- och telemetriarbeten utanför den interaktiva chatten när det är möjligt.
  • Analysera resultat från lasttester och produktionstelemetri för att lokalisera var förfrågningarna koncentreras, och finjustera därefter agenten, flöden, anslutningsprogram och nedströms API:er innan högre gränser begärs.

Autonoma agenter är särskilt väl positionerade för att maximera användningen av sin tilldelade kapacitet med robust förutsägbarhet och insyn genom att köa förfrågningar och kontrollera sina triggervärden.

Vad man ska göra om standardhastighetsgränser inte räcker

Om uppskattningen för trafiktoppar visar att agenten eller någon ansluten tjänst kan överskrida aktuella publicerade gränser startar du supportprocessen för bandbreddsetablering innan UAT, belastningstestning eller produktionsstart. Vänta inte på det första produktionsmisslyckandet.

Kommentar

Copilot Studio är en SaaS-tjänst med begränsningar för begäranden för att skydda tjänsten för alla kunder. Med rätt motivering kan ingenjörsteamet aktivera anpassade begränsningar för godkända scenarier.

Öppna en ny supportbegäran

Administratörer kan begära stöd från Power Platform-administratörscenter.

Öppna ärendet tidigt och inkludera de bästa uppskattningarna som finns tillgängliga. Ju mer detaljer du ger, desto enklare blir granskningsprocessen. Uppdatera ärendet när designen förfinas eller när belastningstestning ger uppmätta data.

Kärninformation att inkludera

Information beskrivning
Miljö-ID Dataverse-miljön där agenten körs.
Agentens namn eller ID Den agent som påverkas av begäran.
Påverkan på verksamheten Kritisk påverkan om standardgränserna inte räcker.
Information som är känd Det som är känt om scenariot, kanalen, lanseringskontexten, affärskritisk betydelse och om det är B2C, autonomt, medarbetarriktat eller endast internt.
Agentögonblicksbild En ögonblicksbild eller export som hjälper granskare att förstå agentkonfiguration, design, anslutna tjänster och relevanta inställningar.
Agentdesign Övergripande beskrivning av ämnen, generativ AI-användning, kunskapskällor, åtgärder, flöden, anslutningsprogram, Dataverse-anrop och externa API:er som används av agenten.
Uppskattning av genomsnittlig trafik Förväntad genomsnittlig trafik per timme, dag, vecka eller månad.
Uppskattning av trafiktoppar Förväntade toppmeddelanden, sessioner, generativ AI-anrop, flödesåtgärder, anslutningsprogramsanrop, Dataverse-förfrågningar och externa API-anrop om det är känt.

Ytterligare detaljer som kan vara till hjälp

Information beskrivning
Datumintervall Start- och slutdatum för den begärda ökningen. Separata datumintervall för belastningstest, användaracceptanstest och produktion om de skiljer sig åt.
Toppbelastningsmönster Toppbelastningsperioder, tidszoner, faktorer som förväntas orsaka trafikspikar samt huruvida trafiken är koncentrerad till en kort tidsperiod under dagen.
Sessionsprofil Samtidiga sessioner, genomsnittlig och maximal sessionslängd, meddelanden per session och frågor per session.
Typiska sessionsexempel Representativa användarflöden, typiska steg, använda verktyg och exempelsession-ID:n där det finns tillgängligt.
Sökväg för körning Flöden, åtgärder, AI-promptar, kunskapsanrop, Dataverse-förfrågningar, anslutningsprogram och API:er per interaktion.
Toppar på funktionsnivå Toppvolym per agent, funktion, användare, miljö, anslutningsprogram, minut, timme och dag där det är känt.
Produkter som behöver ses över Om förfrågan involverar Copilot Studio, begäransallokeringar för Power Platform, Power Automate, anslutningsprogram, Dataverse, CLU/AI-tjänster eller externa API:er.
Bevis Exempel på sessions-ID:n, fel, korrelations-ID:n, loggar, lasttestresultat eller produktionsobservationer.
Åtgärder Sammanfatta vilka åtgärder du redan har vidtagit för att minska genomströmningstrycket. Hänvisa till vägledningen Design för att minska trycket på genomströmning, inklusive designgranskning, optimerade externa anrop, miljösegmentering, batchning, köhantering, triggerfiltrering, schemaläggning, arbetsbelastningsfördelning och andra optimeringar som redan är genomförda.

Viktigt

En genomströmningsökning är inte garanterad. Microsoft Support granskar förfrågningar baserat på scenario, miljö, önskat datumintervall, förväntad trafik, berättigande, nuvarande gränser och tjänstens kapacitet.

  • Last updated on