Planejar as implantações de agentes do Copilot Studio para taxa de transferência e limites de taxa

Os agentes de Copilot Studio prontos para produção precisam de mais do que licenciamento e planejamento total de volume de mensagens. Eles também precisam de planejamento de capacidade. O planejamento de throughput abrange a velocidade com que o tráfego chega, quais serviços de plataforma a solução aciona e quais limites se aplicam em toda a solução.

Este artigo ajuda arquitetos de soluções, criadores e administradores do Power Platform a preparar implantações de Copilot Studio de alto volume para tráfego de produção, UAT (teste de aceitação do usuário), teste de carga, cenários de B2C (empresa para cliente) e cargas de trabalho autônomas.

O provisionamento de taxa é separado do provisionamento de licenças

O planejamento de produção do Copilot Studio tem dois fluxos de trabalho relacionados, mas separados:

  • O provisionamento de licenças abrange direitos comerciais e consumo, como licenças, créditos, capacidade pré-paga, pacotes de mensagens e cobrança paga conforme o uso.
  • Taxa de provisionamento refere-se à rapidez com que o tráfego pode ser processado antes que a limitação ou os controles de proteção do serviço sejam aplicados.

Note

Microsoft usa o termo quotas para os limites de taxa do Copilot Studio. No vocabulário mais amplo do setor, essa atividade de planejamento geralmente é chamada de provisionamento de taxas. Examine os limites publicados, estime as taxas de solicitação de pico e planeje antes que o tráfego de produção chegue.

O pagamento conforme o uso pode aumentar os limites disponíveis em comparação com as configurações de menor capacidade, mas a taxa de transferência não é infinita. Verifique os limites atuais do Copilot Studio, as alocações de solicitações do Power Platform, os limites do Power Automate, os limites de proteção de serviço do Dataverse, as regras de limitação de conectores e os limites de APIs downstream.

O que acontece quando há limitação?

Limitação é um comportamento de proteção de serviço. Ele protege os serviços compartilhados contra padrões de tráfego que excedem limites publicados, controles de intermitência ou capacidade de serviço. O sintoma exato depende de qual serviço é limitado.

Quando um limite é atingido, a consequência é mais do que uma questão de planejamento. As solicitações podem ser limitadas, atrasadas, bloqueadas ou rejeitadas. Em chats voltados para o usuário, esse comportamento pode aparecer como uma interrupção temporária do serviço. Por exemplo, o usuário pode não conseguir enviar a próxima mensagem, receber uma mensagem de agente indisponível ou de limite de uso, ou ter uma etapa com falha porque um fluxo, conector, chamada do Dataverse, serviço de IA ou API downstream atingiu seu limite.

Saiba mais sobre sintomas e mensagens de erro específicos do Copilot Studio em Resolva erros de limite de uso em agentes.

Como os limites de taxa são medidos

Os limites de taxa medem a quantidade de tráfego que um serviço pode aceitar durante uma janela de tempo específica. Pense nessas janelas granularmente: por minuto, por cinco minutos, por 10 minutos, por hora, por dia, por semana e por mês. O volume mensal ou semanal ajuda a estimar a demanda total, mas intervalos menores são importantes para o provisionamento da taxa, porque a limitação de taxa geralmente decorre da concentração de tráfego.

Por exemplo, uma empresa B2C pode receber a maior parte de seu tráfego de agente durante uma hora de campanha focada. A média semanal pode parecer baixa, mas essa única hora ainda pode criar pressão de taxa de transferência suficiente para causar limitação ou interrupções de serviço. Um design que parece seguro no nível semanal ou mensal ainda pode exceder os limites durante um pico de uma hora.

Entender o escopo dos limites

Os limites não se aplicam apenas no nível de agente individual. Dependendo do serviço, eles podem ser aplicados no nível do ambiente, da ferramenta, da API, do conector, do canal ou do serviço subsequente.

Por exemplo, os limites de mensagens para agente do Copilot Studio se aplicam por ambiente do Dataverse. Ao estimar o tráfego, inclua todas as fontes que enviam mensagens aos agentes nesse ambiente, incluindo canais voltados para o usuário, integrações, cargas de trabalho autônomas e habilidades do Bot Framework Azure. Verifique os valores e o escopo atuais em Copilot Studio cotas e limites.

Decida se o provisionamento de tarifas se aplica ao seu agente

Nem todo agente precisa de um trabalho detalhado de configuração de tarifas. É improvável que um agente simples de FAQ interno, com um público pequeno, uso previsível e poucas ou nenhuma chamada subsequente, esbarre em limites de taxa. O provisionamento de taxa torna-se importante quando um agente pode exceder os limites de solicitações por minuto ou por hora, mesmo que o volume mensal pareça baixo.

Pense no tráfego esperado no início do projeto, juntamente com o design da solução. Antes do início do teste de aceitação do usuário (UAT) e do teste de carga, a equipe deve ter certeza de que o design do agente, o ambiente, os serviços conectados e os sistemas downstream podem dar suporte ao perfil de taxa de transferência esperado.

Essa orientação é mais importante para agentes maiores e mais intensivos de nível empresarial, em que o tráfego pode chegar em intermitências, muitos usuários ou eventos podem invocar o agente ao mesmo tempo ou cada interação depende de vários serviços de plataforma. Ele também pode se aplicar a agentes menores com padrões de uso concentrados, como uma janela de inicialização curta, um evento de todo o departamento, um processo agendado ou um fluxo de trabalho que cria muitas solicitações em alguns minutos.

B2C e agentes autônomos exigem provisionamento antecipado de tarifas

Os agentes B2C voltados para o cliente podem receber tráfego de campanhas, sites públicos, portais de clientes, comunicações de incidentes, lançamentos de produtos ou demanda sazonal. Os agentes autônomos podem gerar tráfego de alta frequência com base em agendas, eventos, processos em segundo plano ou quando chamam várias ferramentas e fluxos de trabalho.

Tip

Trate os casos de uso B2C e autônomos como cenários principais de provisionamento de tarifas. Eles podem gerar tráfego de intermitência, várias solicitações simultâneas e atividade em segundo plano de alta frequência mais rapidamente do que muitas experiências de chat voltadas para funcionários.

Use períodos de pico, não apenas totais mensais

Pergunte se o agente pode criar solicitações concentradas em um minuto ou hora. Mesmo um cenário menor ainda pode exigir provisionamento de taxa se um teste de carga, uma campanha, uma resposta a uma interrupção ou um gatilho automatizado fizer com que mensagens, chamadas de IA generativa, ações de fluxo de trabalho, chamadas de conectores ou solicitações ao Dataverse sejam enviadas pelo ambiente em excesso durante uma janela curta.

O volume mensal é útil para estimar a demanda total, mas não é suficiente para provisionamento de taxa. Converta o uso esperado em janelas de tempo menores para que você possa comparar o design com as solicitações atuais por minuto (RPM), solicitações por hora (RPH), intermitência e limites diários das páginas vinculadas.

Crie um perfil de tráfego médio e um perfil de tráfego de pico. Por exemplo, se a maioria do tráfego ocorrer todos os dias entre 17h e 18h, o pico por hora deverá refletir essa concentração. A estimativa diária não precisa ser 24 vezes a hora de pico se o tráfego estiver concentrado em uma janela.

Use essas estimativas para dimensionar e validar o projeto. Estimativas não são justificativa suficiente para um pedido de aumento de throughput. As solicitações são analisadas em relação ao tráfego observado em uma fase piloto, conforme descrito em Execute uma fase piloto antes de solicitar um aumento de throughput.

Em que outros casos a limitação pode ocorrer?

A limitação também pode ocorrer quando:

  • Uma grande população de funcionários usa o agente durante uma janela de pico previsível, como um evento ou treinamento em todo o departamento.
  • Uma campanha de marketing, interrupção, lançamento ou evento de negócios agendado cria um pequeno pico de tráfego.
  • Os fluxos do Power Automate incluem loops, novas tentativas, paginação ou fluxos filho que ampliam o volume de solicitações.
  • A geração de relatórios, a auditoria, a exportação de telemetria ou a captura de transcrição ocorre de forma síncrona no fluxo do turno do usuário.
  • Vários agentes ou cargas de trabalho compartilham o mesmo ambiente, identidade, conector ou capacidade de API downstream.
  • Os testes de carga aumentaram mais rapidamente do que a arquitetura de produção ou o processo de suporte estavam preparados para suportar.

Onde procurar limites de taxa relevantes

Copilot Studio tem seus próprios limites e o caminho de runtime do agente pode incluir outros serviços com seus próprios limites. Examine todos os limites relevantes para os serviços que seu agente usa.

limites de Copilot Studio

Área de provisionamento de tarifas O que pesquisar Onde verificar os valores atuais Como usar
Mensagens para um agente Limites atuais de RPM e RPH e escopo para mensagens enviadas ao agente. Copilot Studio cotas e limites Compare as mensagens esperadas por minuto e por hora para o ambiente do Dataverse de destino.
Mensagens de IA generativas Limite atual para orquestração generativa, ações de agente, ferramentas de IA, ações de fluxo de trabalho do agente e respostas generativas. Mensagens de IA generativas para um agente Modele cenários autônomos e com uso intensivo de IA em relação aos limites atualmente publicados.
Nós de gatilho autônomo Limites atuais que se aplicam quando um agente autônomo é disparado por eventos, agendas ou processos em segundo plano. Copilot Studio cotas e limites Modele cargas de trabalho agendadas e controladas por eventos separadamente do tráfego de chat interativo.
Copilot Studio limites de solicitação de assinatura Limites de solicitação atuais do Power Platform que se aplicam ao uso de Copilot Studio. Copilot Studio limites de assinatura Use estes valores em conjunto com o planejamento de limites de taxa para fluxos, Dataverse e serviços conectados.

Outros limites de plataforma a serem considerados

O limite mais baixo no caminho do runtime determina a experiência do usuário. Um agente do Copilot Studio pode estar dentro de seus próprios limites enquanto um fluxo, conector, chamada do Dataverse, serviço de idioma ou API externa é limitado.

Note

Outros limites de plataforma poderão afetar o agente se ele usar outros componentes no caminho de solicitação do agente. Leve esses limites em consideração também, incluindo o Power Platform, Power Automate, Dataverse, conectores, serviços de linguagem e sistemas downstream.

Área de execução O que observar Perguntas sobre provisionamento de taxa Onde verificar os limites atuais
Plano de solicitação do Power Platform Solicitações no Power Automate, chamadas de fluxo de trabalho do Copilot Studio, uso do Dataverse, Power Apps e Dynamics 365. Qual usuário, conexão, usuário do aplicativo ou entidade de serviço gera as solicitações? As alocações de requisições são suficientes para a carga de trabalho diária e de pico esperada? Limites e alocações de solicitações
fluxos do Power Automate Gatilhos, ações, loops, fluxos filho, ações HTTP, ações de conector, tentativas, paginação e simultaneidade. Quantas ações são criadas por turno de agente? Os limites de intermitência, simultaneidade, gatilho e conector estão no escopo? Entenda os limites da plataforma e evite a limitação
Limites de fluxos automatizados, agendados e instantâneos
Dataverse Operações CRUD, plug-ins, fluxos de trabalho, operações de atribuição e compartilhamento, chamadas a conectores e operações do sistema necessárias para concluir transações. Quais usuários, usuários de aplicativos ou entidades de serviço geram chamadas do Dataverse? É provável que os limites de proteção do serviço ou o comportamento de nova tentativa sejam aplicados? Limites de API da proteção do serviço
Visão geral dos limites de API do Dataverse
Connectors Conectores padrão, conectores premium, conectores personalizados, limitação específica do conector e APIs subsequentes. Qual conector é o gargalo? O serviço downstream impõe seu próprio limite de taxa? Limites de taxa de transferência de API em conectores
Referência do conector do Power Automate
CLU (reconhecimento vocal de conversa) e serviços de IA Chamadas de CLU, prompts de IA, operações de pesquisa e resumo, ferramentas com suporte de modelo, tamanho da carga e limites específicos do serviço. Cada interação do usuário chama um serviço de linguagem ou de IA? Essas chamadas são repetidas durante novas tentativas ou orquestração? Limites de compreensão da linguagem conversacional
Copilot Studio cotas e limites
APIs externas e sistemas de linha de negócios APIs de fornecedor, APIs internas, bancos de dados, middleware, gateways e serviços personalizados. Qual limite o proprietário a jusante impõe? Há uma estratégia de repetição de contrato, fila ou controle de pressão? Use os limites atuais do proprietário do serviço downstream, o SLA (contrato de nível de serviço) e o processo de suporte.

Projetado para reduzir a pressão sobre a taxa de transferência

Não faça dos aumentos de taxa sua primeira resposta de design. Primeiro, revise o design do agente e otimize a eficiência. Se o agente precisar pesquisar algo, mantenha chamadas externas intencionais, otimize as chamadas à API e evite o volume de solicitação desnecessário em Copilot Studio, Power Automate, Dataverse, conectores e sistemas downstream.

Depois que o design for eficiente, controle a taxa de transferência para que o tráfego atinja a plataforma de maneira previsível:

  • Para limites de nível de ambiente, considere dividir agentes em vários ambientes se essa abordagem corresponder ao seu design operacional. Essa abordagem pode ajudar a evitar que agentes com alto volume, unidades de negócios, regiões ou cargas de trabalho autônomas concorram com cargas de trabalho não relacionadas pelos mesmos limites definidos no escopo do ambiente.
  • Para agentes autônomos, use filas, envio em lote, filtros de acionamento, processamento agendado, controles de nova tentativa e monitoramento para que o trabalho em segundo plano não chegue de uma só vez, de forma descontrolada.
  • Mova o trabalho agendado, de geração de relatórios, de exportação de auditoria e de telemetria para fora do fluxo do chat interativo, quando possível.
  • Examine os resultados do teste de carga e a telemetria de produção para identificar onde as solicitações se concentram e ajuste o agente, os fluxos, os conectores e as APIs downstream antes de solicitar limites mais altos.

Os agentes autônomos estão em uma posição única para maximizar o uso de sua capacidade alocada, com previsibilidade e observabilidade avançadas, ao enfileirar solicitações e controlar suas taxas de gatilho.

Realize uma fase piloto antes de solicitar um aumento de throughput

Os limites padrão acomodam a maioria dos agentes de produção, incluindo agentes que atendem milhares de usuários ativos mensalmente. Antes de planejar um aumento de rendimento, confirme se o agente realmente precisa de um.

Ir direto para um lançamento em escala total não é um padrão de implementação suportado. Libere o agente para um subconjunto do público-alvo primeiro, observe o uso real e use essas medidas para planejar o lançamento completo. Uma fase piloto reduz o risco de lançamento e produz as evidências que uma solicitação de aumento de throughput exige.

Importante

Solicitações de aumento de taxa de transferência são analisadas com base no uso observado. Volumes projetados, estimativas produzidas durante o projeto, pequenas execuções de testes de aceitação por usuários (UAT) e testes de carga sintética não são aceitos como justificativa por si só. Conduza uma fase piloto e envie os resultados medidos.

O uso real geralmente difere das estimativas pré-lançamento. A duração da sessão, o número de mensagens por sessão, a frequência com que os usuários obtêm respostas generativas ou executam ações, o comportamento de novas tentativas e o número de chamadas de fluxos, conectores, Dataverse e APIs externas por turno são aspectos difíceis de prever antes que o agente esteja nas mãos de usuários reais. Um piloto revela os limites que importam e os padrões de tráfego difíceis de estimar antecipadamente.

Projete um piloto eficaz

Atributo piloto Orientações
Público Libere para uma grande parcela representativa do público-alvo, em vez de para uma equipe de projeto ou de testes. O grupo piloto deve incluir os papéis, regiões e casos de uso esperados em escala total.
Duration Execute por pelo menos uma semana para que o piloto cubra um ciclo completo de negócios, incluindo janelas de pico conhecidas, como trocas de turno, processamento de fim de mês, horários de campanha ou execuções autônomas programadas.
Configuração Mantenha o caminho de execução em produção: os mesmos canais, tópicos, configuração de IA generativa, fontes de conhecimento, ações, fluxos, conectores e sistemas downstream que o lançamento completo utiliza. O tráfego medido em relação a um projeto simplificado não permite extrapolação confiável.
Telemetry Ative a análise, o Application Insights e os relatórios do centro de administração de que você precisa antes do início do piloto, para que sessões, mensagens, chamadas de IA generativa e erros sejam capturados ao longo de todo o período.

Medição durante o piloto

Capture os valores que correspondem diretamente aos limites de taxa publicados:

  • Mensagens por minuto e por hora, em média e no pico.
  • Sessões, sessões simultâneas, duração da sessão e mensagens por sessão.
  • Chamadas de IA generativa por turno e por sessão, incluindo respostas generativas, ações de agentes e ferramentas.
  • Ações do Power Automate, chamadas de conector e requisições do Dataverse geradas por turno do agente.
  • Eventos de limitação de taxa, erros de limite de uso, novas tentativas e latência durante os períodos de pico do piloto.
  • O tamanho do público piloto, expresso como uma proporção do público-alvo total.

Extrapolar até a capacidade total

Escale as medições de pico observadas para todo o público e documente o método que você utilizou. Baseie o escalonamento no pico de tráfego durante o piloto, não nas médias diárias ou semanais, porque a limitação ocorre devido ao tráfego concentrado. Considere tudo o que o piloto não incluiu, como regiões adicionais, canais, cargas de trabalho autônomas ou uma campanha de lançamento que concentre o tráfego mais do que o período piloto.

O resultado é um pedido baseado em evidências: o tráfego do piloto medido, a participação do piloto no público, o método de extrapolação e o pico necessário resultante em escala total.

O que fazer se os limites de taxa padrão não forem suficientes

Se o tráfego observado no piloto mostrar que o agente ou qualquer serviço conectado excede os limites publicados atuais em escala total, inicie o processo de suporte para provisionamento de taxa antes de ampliar a implementação. Não aguarde a primeira falha de produção.

Note

Copilot Studio é um serviço SaaS com limites de taxa para proteger o serviço para todos os clientes. Com a justificativa adequada, a engenharia pode habilitar limites personalizados para cenários aprovados. Justificativa adequada significa uso medido a partir de uma fase piloto, não uma projeção.

Abrir uma solicitação de suporte

Os administradores podem solicitar suporte no Centro de administração do Power Platform.

Abra o ticket após a fase piloto e inclua os resultados medidos, junto com a extrapolação para a capacidade total. Solicitações que contêm apenas estimativas de tempo de projeto ou pequenos resultados de UAT não podem ser revisadas e atrasam o aumento. Quanto mais detalhes medidos você fornecer, mais rápida será a avaliação. Atualize o pedido conforme o lançamento se expande e mais telemetria fica disponível.

Informações principais a serem incluídas

Informação Description
ID do Ambiente O ambiente do Dataverse em que o agente é executado.
Nome ou identificador do agente O agente afetado pela solicitação.
Impacto nos negócios Impacto crítico se os limites padrão não forem suficientes.
Informações conhecidas O que se sabe sobre o cenário, o canal, o contexto de inicialização, a criticidade dos negócios e se ele é B2C, autônomo, voltado para funcionários ou somente interno.
Instantâneo do agente Uma captura ou exportação que ajuda os revisores a entender a configuração, o design, os serviços conectados e as configurações relevantes do agente.
Projeto do agente Descrição de alto nível de tópicos, uso de IA generativo, fontes de conhecimento, ações, fluxos, conectores, chamadas do Dataverse e APIs externas usadas pelo agente.
Resumo do piloto Datas e duração do piloto, tamanho do público piloto, e esse público como parte do público totalmente alvo.
Tráfego médio observado Mediu o tráfego médio do piloto por minuto, hora e dia.
Pico observado de tráfego Foram medidos o pico de mensagens, sessões, chamadas de IA generativa, ações de fluxo, chamadas de conector, solicitações ao Dataverse e chamadas de API externas durante os períodos de pico do piloto.
Requisito de pico extrapolado O requisito de pico no tamanho completo da audiência, com o método de extrapolação e quaisquer suposições que você aplicou.

Mais detalhes que podem ajudar

Informação Description
Intervalo de datas Data de início e término do aumento solicitado. Forneça intervalos de datas separados para testes de carga, teste de aceitação do usuário e produção, caso diferem.
Padrão de pico Janelas de pico, fusos horários, fatores esperados que geram picos e se o tráfego está concentrado em um curto período diário.
Perfil de sessão Sessões simultâneas, comprimento médio e de pico da sessão, mensagens por sessão e perguntas por sessão.
Exemplos típicos de sessão Caminhos de usuário representativos, etapas típicas executadas, ferramentas usadas e IDs de sessão de exemplo quando disponíveis.
Caminho do runtime Fluxos, ações, prompts de IA, consultas à base de conhecimento, solicitações ao Dataverse, conectores e APIs por interação.
Picos em nível de funcionalidade Volume de pico por agente, recurso, usuário, ambiente, conector, minuto, hora e dia em que conhecido.
Produtos que precisam de revisão Se a solicitação envolve Copilot Studio, alocações de solicitações do Power Platform, Power Automate, conectores, Dataverse, serviços de CLU/IA ou APIs externas.
Evidence Telemetria do piloto, IDs de sessões de exemplo, erros, IDs de correlação, logs, eventos de redução de velocidade e observações de produção. Os resultados dos testes de carga podem complementar a telemetria do piloto, mas não a substitua.
Atenuações Resuma o que você já tentou fazer para reduzir a pressão sobre a taxa de transferência. Consulte as orientações Design para reduzir a pressão de taxa de transferência, incluindo revisão de design, chamadas externas otimizadas, segmentação de ambientes, envio em lote, enfileiramento, filtragem de gatilhos, agendamento, distribuição da carga de trabalho e outras otimizações já implementadas.

Importante

Um aumento de taxa de transferência não é garantido. O Suporte da Microsoft analisa as solicitações com base no cenário, ambiente, intervalo de datas solicitado, tráfego piloto observado, elegibilidade, limites atuais e capacidade de serviço.

  • Última atualização em