Quotas e limites do Microsoft Foundry Models

Este artigo apresenta um guia de referência rápida e uma descrição detalhada das quotas e dos limites para Modelos do Foundry comercializados pela Azure. Para quotas e limites específicos do Azure OpenAI em Foundry Models, veja Quotas e limites em Azure OpenAI.

Gestão de quotas ao nível de subscrição

Começando com o Realtime Translate e o Realtime Transcribe, e em breve todos os modelos, o Foundry acompanha a quota para implementações ao nível da subscrição, em vez de por recurso ou por região. Esta abordagem traz consistência e previsibilidade à forma como as quotas são geridas entre implementações, uma vez que todos os recursos e regiões de uma subscrição partilham o mesmo pool de quotas.

Esta alteração consolida a quota em pools partilhados:

• Padrão Global: Implementações do mesmo modelo e versão partilham um único pool de quotas em todas as regiões de uma subscrição.
• Data Zone Standard: Implementações do mesmo modelo e versão partilham um pool de quotas por zona de dados (por exemplo, EUA ou UE).

Verificar o âmbito da gestão de quotas

Pode encontrar o sistema de gestão de quotas que se aplica a um determinado modelo indo à página de Quotas do portal Foundry. O valor na coluna Scope para um dado modelo indica como a Foundry gere a quota para esse modelo. Um valor de âmbito de:

• Global ou Zona de Dados, indica gestão de quotas ao nível de subscrição.
• Uma região (por exemplo, Leste dos EUA ou Oeste dos EUA) indica a gestão de quotas por região para essa subscrição e modelo.

Alterações para modelos integrados

Para os modelos que estão integrados no sistema de gestão de quotas a nível de subscrição:

• Todas as implementações de Global Standard do mesmo modelo e versão sob subscrição passam a ser retiradas de um único pool de quotas partilhadas em todas as regiões.
• Todas as implementações do Data Zone Standard do mesmo modelo e versão sob uma subscrição utilizam agora um pool de quotas partilhado dentro de cada zona de dados.
• A quota aprovada existente é mantida e aplica-se automaticamente ao nível da subscrição — não é necessária qualquer ação.

Esta consolidação permite à Microsoft Foundry oferecer modelos suportados de forma consistente em todas as regiões da Foundry, independentemente da distribuição das quotas entre recursos ou regiões.

Limites de quota quando um modelo é atualizado

Quando um modelo existente é atualizado, o seu novo limite da quota Global ou da Data Zone é definido para o maior de:

• O limite de escalão aplicável.
• A quota total atribuída a todas as implementações existentes desse modelo dentro do âmbito da quota.

Por exemplo, se um modelo tiver implementações de Global Standard em cinco regiões, o novo limite global de quotas é igual à quota combinada dessas implementações se esse total exceder o limite de nível. Caso contrário, aplica-se o limite de níveis.

Quotas e limites de referência

As secções seguintes fornecem um guia rápido sobre as quotas e limites padrão que se aplicam aos modelos Foundry. Quotas e limites não são aplicados ao nível do inquilino. Em vez disso, o nível mais elevado de restrições de quotas é definido ao nível de subscrição do Azure. Os limites de tokens por minuto (TPM) e pedidos por minuto (RPM) são definidos por região, por subscrição e por modelo ou tipo de implementação.

Limites de recursos (por subscripção Azure, por região)

Limites de taxa

A tabela seguinte lista os limites para modelos Foundry para as seguintes taxas:

• Tokens por minuto
• Pedidos por minuto
• Pedido simultâneo

Para aumentar a sua quota, utilize Microsoft Foundry Service: Request for Quota Increase para submeter o seu pedido. Devido à elevada procura, os pedidos para aumentar as quotas são avaliados individualmente. Para mais informações sobre pedidos de aumento de quota, consulte solicitar aumentos dos limites predefinidos.

Outros limites

¹ As APIs atuais permitem até 10 cabeçalhos personalizados, que o pipeline pode processar e devolver. Se ultrapassar este número de cabeçalhos, o seu pedido resulta num erro HTTP 431. Para resolver este erro, reduza o volume do cabeçalho. As futuras versões da API não passam por cabeçalhos personalizados. Não dependas de cabeçalhos personalizados em futuras arquiteturas de sistema.

Níveis de utilização

As implementações do Global Standard utilizam a infraestrutura global do Azure para encaminhar dinamicamente o tráfego dos clientes para o centro de dados, com a melhor disponibilidade para os pedidos de inferência do cliente. Esta infraestrutura permite uma latência mais consistente para clientes com níveis baixos a médios de tráfego. Clientes com elevados níveis sustentados de utilização podem observar mais variações na latência de resposta.

O Limite de Utilização determina o nível de utilização a partir do qual os clientes podem observar maior variabilidade na latência de resposta. A utilização de um cliente é definida por modelo e corresponde ao total de tokens consumidos em todas as implementações, em todas as subscrições, em todas as regiões para um dado inquilino.

Solicitar aumentos para os limites padrão

Submeta o formulário de pedido de aumento de quota para solicitar aumentos de quota para Modelos Foundry vendidos pela Azure, modelos do Azure OpenAI e modelos Anthropic. Exceto para modelos Anthropic, modelos de parceiros e comunidade não suportam aumentos de cotas.

Os pedidos de aumento de quotas são processados pela ordem em que são recebidos, e a prioridade vai para os clientes que utilizam ativamente a sua quota de alocação existente. Pedidos que não cumpram esta condição podem ser recusados.

Melhores práticas gerais para se manter dentro dos limites de taxa

Para minimizar problemas relacionados com limites de taxa, utilize as seguintes técnicas:

• Implementa lógica de repetição na sua aplicação.
• Evite mudanças bruscas na carga de trabalho. Aumenta a carga de trabalho gradualmente.
• Testa diferentes padrões de aumento de carga.
• Aumente a quota atribuída à sua missão. Transferir quota de outra missão, se necessário.

Definir o timeout do lado do cliente

Defina explicitamente o timeout do lado do cliente com base nas seguintes orientações.

• Modelos de raciocínio (modelos que geram tokens de raciocínio intermédio antes de produzir uma resposta resumida): até 29 minutos.
• Modelos sem raciocínio
  • Para streaming, até 60 segundos.
  • Para pedidos que não envolvam streaming, até 29 minutos.

29 minutos aqui não significa que todos os pedidos demorem 29 minutos, mas dependendo dos tokens de contexto, tokens gerados e taxas de acerto na cache, os pedidos podem demorar até 29 minutos.

Defina um timeout inferior a esses valores, ajustado aos seus padrões de tráfego.

Para modelos de raciocínio, incluindo pedidos de streaming, todos os tokens de raciocínio são primeiro gerados e depois resumidos antes de enviar o token de primeira resposta de volta ao utilizador.

Pode modificar o parâmetro de esforço de raciocínio para controlar o número de tokens de raciocínio gerados no processo.

Resolução de problemas

Conteúdo relacionado

• Modelos disponíveis na Foundry Models
• Gerir e aumentar as quotas para os recursos da Foundry
• Quotas e limites no Azure OpenAI