Reservar throughput provisionado nas APIs do Modelo Fundacional

Esta página explica o throughput provisionado reservado para Foundation Model APIs: o que é, quando o usar, como dimensionar uma reserva e como criar e gerir um endpoint que o utilize.

O que é a capacidade de débito provisionada reservada?

A taxa de transferência aprovisionada reservada é uma opção de capacidade para as APIs de Modelos Base do Azure Databricks . Em vez de usar uma oferta por token, que recorre a um pool partilhado de capacidade, reserva-se uma quantidade fixa de capacidade dedicada por um período fixo. Medes essa capacidade em unidades de modelo, e o Azure Databricks mantém-na para ti durante toda a duração da reserva.

Como a capacidade é dedicada e reservada antecipadamente, a taxa de transferência e a latência mantêm-se consistentes para essa capacidade mesmo quando a procura global pelo modelo partilhado de pagamento por token é elevada. O tráfego acima da sua capacidade reservada está sujeito a limitação de taxa, não é servido automaticamente em pay-per-token. Para enviar esse excedente para o pay-per-token em vez de o rejeitar, configura um fallback no serviço do modelo à frente do teu endpoint. Veja Lidar com o tráfego acima da sua capacidade reservada.

Quando usar o débito provisionado reservado

O throughput aprovisionado reservado é concebido para cargas de trabalho que necessitam de capacidade fiável, em vez de acesso sem garantias a um conjunto partilhado. A Databricks recomenda quando:

  • Está a alimentar uma aplicação ou agente crítico para o negócio, onde uma funcionalidade de produção depende do modelo e não pode competir com outro tráfego pela capacidade partilhada.
  • Precisa de disponibilidade e tempo de funcionamento mais consistentes do que o modelo partilhado de pagamento por token, por isso a alta procura no pool partilhado tem menos impacto no seu débito.
  • Está a escalar para volumes elevados ou sustentados de volumes previsíveis de tráfego, e está a atingir limitações de capacidade ou de limite de taxa em pay-per-token ou priority pay-per-token.

Se o seu tráfego for exploratório ou de baixo volume, veja pay-per-token ou pay-per-token prioritário.

Modelos suportados

A taxa de transferência provisionada reservada está disponível nos modelos fundacionais suportados. O Azure Databricks seleciona a elegibilidade por modelo, e o fluxo de criação mostra apenas os modelos que pode reservar.

A taxa de transferência provisionada reservada está disponível para os seguintes modelos:

Provider Modelo Nome do ponto final
Zhipu AI GLM 5.3 databricks-glm-5-3
Zhipu AI GLM 5.3 Flash databricks-glm-5-3-flash
Zhipu AI GLM 5.2 (legacy) databricks-glm-5-2
IA Tiro na Lua Kimi K3 databricks-kimi-k3
DeepSeek Flash DeepSeek V4.1 (1017) databricks-deepseek-v4-1-flash-1017
DeepSeek DeepSeek V4.1 Flash databricks-deepseek-v4-1-flash
Alibaba Nuvem Qwen3.5 122B A10B databricks-qwen35-122b-a10b

Note

Qwen3.5 122B A10B está em Pré-visualização Pública. Contacte a sua equipa de conta da Databricks para obter assistência.

Como funciona a capacidade de processamento provisionada reservada

Reserva capacidade em unidades modelo. Uma unidade de modelo é uma unidade de débito aprovisionado que define quanto trabalho o seu endpoint pode suportar por minuto. Mais unidades de modelo significam mais débito reservado para si. Reserva unidades de modelo em incrementos de 50, começando num mínimo de 50.

Cria-se uma instância reservada escolhendo quantas unidades modelo reservar e por quanto tempo (durante o período). O Azure Databricks disponibiliza essa capacidade dedicada para o período completo. Um endpoint pode ter mais do que uma reserva ao mesmo tempo, e a sua capacidade total reservada é a soma das unidades de modelo nas suas reservas ativas.

Os seguintes termos descrevem as partes de um endpoint de throughput provisionado reservado:

Term O que significa
Unidade modelo A unidade de capacidade aprovisionada. Mais unidades de modelo significam mais throughput reservado. Utilize o estimador de unidades do modelo para dimensionar o seu pool em relação ao tráfego esperado.
Reservation Uma subvenção pré-paga de unidades de modelo e um prazo num ponto terminal. Um ponto final pode manter várias reservas ao mesmo tempo, cada uma com as suas próprias unidades de modelo e data de fim do prazo.
Term A duração de uma reserva: 1 mês ou 3 meses. Um prazo mais longo implica uma taxa por unidade mais baixa.
Cobertura O total de unidades modelo que somam as reservas ativas do seu endpoint.
Alternativa Um destino de backup que configuras no serviço de modelo para tráfego acima da tua cobertura. O Azure Databricks não encaminha automaticamente o tráfego para pay-per-token. Sem um plano B, o tráfego acima da sua cobertura está sujeito a limitação de taxa. Veja Lidar com o tráfego acima da sua capacidade reservada.

Decida quanto reservar

O número de unidades de modelo que reservas depende de ti. Pode colocar toda a sua carga de trabalho em capacidade dedicada, ou reservar menos e enviar o excedente para pay-per-token com um fallback (ver Tratar de tráfego acima da sua capacidade reservada):

  • Reserva uma linha de base e envia os picos para uma alternativa. Reserve unidades de modelo suficientes para cobrir o seu tráfego regular e diário, e configure um plano B para que os picos acima desse nível base sejam cobrados em regime pay-per-token. Compromete-se com menos capacidade e paga por token apenas pelo excedente, em troca de capacidade partilhada em regime de best effort nesses picos.
  • Reserva para o teu Peak. Reserve unidades de modelo suficientes para cobrir o pico de carga esperado, para que toda a sua carga de trabalho funcione com capacidade dedicada. Isto proporciona o comportamento mais consistente, em troca de um compromisso maior.

De qualquer modo, traduzir a sua carga de trabalho em unidades de modelo com a ferramenta incorporada Estimar unidades de modelo no fluxo de criação. Introduza o formato do pedido esperado e o estimador devolve as unidades de modelo de que precisa:

  • O número de solicitações por minuto que esperas.
  • O número médio de tokens de entrada por solicitação.
  • O número médio de tokens de saída por solicitação.
  • A sua taxa de acerto esperada da cache.

Para dimensionar uma linha de base, introduza o seu tráfego típico. Para reservar para o seu pico, introduza o seu tráfego esperado mais elevado. Podes usar o estimador quantas vezes quiseres antes de te comprometeres.

Débito provisionado reservado comparado com pagamento por token

A taxa de transferência provisionada reservada e o pagamento por token são complementares, não são mutuamente exclusivos. Pode reservar capacidade dedicada para o seu tráfego principal e configurar uma alternativa de contingência para pay-per-token para qualquer coisa além do seu pool reservado. A tabela seguinte mostra onde cada opção se encaixa.

Capability Pagamento por token Capacidade de débito aprovisionada reservada
Base de preços Por token, conforme utilizado Capacidade reservada, faturada para o período completo
Capacidade Piscina partilhada, melhor esforço Piscina dedicada, reservada para ti
Latência sob carga Pode variar consoante a procura partilhada Consistente com a capacidade reservada
Reservation None 1 ou 3 meses
Melhor para Tráfego espinhoso, interno ou exploratório Aplicações externas, críticas para o negócio ou agentes em produção

Como funciona o preço

O throughput provisionado reservado é cobrado com base na capacidade que reserva, não nos pedidos que envia. Ser-lhe-á cobrada a totalidade da reserva durante todo o prazo, independentemente de utilizar ou não a capacidade reservada.

O que acontece Como é cobrado
Tráfego dentro da sua capacidade reservada Faturado como capacidade reservada durante todo o período.
Tráfego acima da sua capacidade reservada, com uma alternativa configurada Pay-per-token apenas no overflow, faturado pelo destino de reserva.
Tráfego acima da sua capacidade reservada, sem recurso de contingência Limitado por taxa, não faturado.
Tráfego após a expiração de uma reserva Tratado como qualquer tráfego acima da tua capacidade reservada: pay-per-token se configuraste um fallback, caso contrário sujeito a limitação de taxa.
  • Um prazo mais longo tem uma taxa por unidade mais baixa do que um mais curto.
  • Quando um endpoint mantém reservas de termos diferentes ao mesmo tempo, cada uma tem o preço definido independentemente segundo a sua própria tarifa.
  • As taxas específicas dependem do modelo e do termo.

Antes de começar

Requisito Detail
Permissão para modelos É necessário MANAGE no modelo de base no Unity Catalog (o modelo registado system.ai.<model>). Se não tiveres, pede a um administrador para a conceder no Explorador de Catálogos. Veja as permissões do Unity Catalog para modelos fundacionais.
Um modelo elegível Pode criar um throughput provisionado reservado apenas em modelos elegíveis. Consulte Modelos suportados.

Criar um endpoint de capacidade de processamento provisionada reservada

Cria-se um débito de processamento provisionado reservado a partir do Unity Gateway.

  1. No Unity Gateway, selecione + Model.

  2. Indique o nome do serviço de modelo.

  3. Para o Destino, escolha o débito provisionado e depois selecione o link para criar um novo endpoint de serviço no espaço de trabalho. Abre-se o diálogo de Configurar um endpoint de throughput provisionado .

    Configure um diálogo de endpoint de throughput provisionado com um modelo de base, unidades de modelo e termo de reserva selecionados.

  4. Selecione um modelo fundacional elegível.

  5. Defina as suas unidades de modelo, em incrementos de 50. Para dimensionar o pool, selecione Estimar unidades do modelo, introduza a sua carga de trabalho esperada (pedidos por minuto, média de tokens de entrada e saída por pedido, e a sua taxa de acerto esperada no cache), e o estimador devolve as unidades do modelo de que precisa. Veja Como decidir quanto reservar.

    Diálogo de estimativa de unidades de modelo com entradas de carga de trabalho e uma reserva recomendada de unidades de modelo.

  6. Escolha um prazo de reserva: 1 mês ou 3 meses. Um prazo mais longo implica uma taxa por unidade mais baixa.

  7. Revê as unidades do modelo e o termo, depois cria o endpoint. O Azure Databricks fornece a capacidade dedicada.

Note

O tipo de capacidade de um endpoint é fixo quando o crias. Não podes converter um endpoint existente para throughput provisionado reservado mais tarde. Crie em vez disso um novo endpoint de throughput provisionado e reservado.

Visualizar e monitorizar

A página de detalhes do endpoint mostra uma secção Configuração ativa com o cabeçalho Débito aprovisionado reservado que lista as suas unidades de modelo reservadas e o período, a data de expiração e o estado de cada reserva. Quando um endpoint contém múltiplas reservas empilhadas, provenientes de escalas ou transições de modelo, elas aparecem como uma lista.

Visão geral do endpoint de throughput provisionado reservado mostrando o estado e o termo da reserva ativa, as unidades do modelo e a expiração.

O separador Métricas mostra a telemetria habitual de serviço, incluindo pedidos por minuto, contagem de erros, latência (p50, p90, p95 e p99), contagens de tokens e tempo até ao primeiro token, para que possa observar o uso e decidir quando escalar.

Aumentar a capacidade

Para aumentar capacidade, abra Editar>Adicionar capacidade, introduza o número de unidades modelo a adicionar (em incrementos de 50) e escolha um prazo. Isto cria uma nova reserva sobreposta às existentes. Não modifica nem interrompe o que já tens. A página de detalhes lista então cada reserva, expirando segundo o seu próprio calendário.

separador Adicionar capacidade na página Editar endpoint de serviço, adicionando unidades modelo num novo termo de reserva.

Mover uma reserva para outro modelo

Os lançamentos de modelos avançam rapidamente, e o modelo para o qual reserva capacidade hoje pode não ser aquele que queres ter em funcionamento daqui a três meses. Pode fazer a transição de uma reserva ativa, total ou parcialmente, de um endpoint de débito provisionado reservado para outro que sirva um modelo diferente, sem esperar que o seu período termine.

Uma transição move unidades do modelo entre dois pontos finais que já existem no mesmo espaço de trabalho:

  • As unidades modelo movidas são reemitidas como uma nova reserva no ponto final de destino, com um novo termo que começa quando a transição termina.
  • As unidades de modelo deixadas para trás mantêm o seu termo original, data de expiração, configuração de renovação automática e histórico de período de espera.
  • O total de unidades de modelo comprometidas não muda. Uma transição realoca capacidade à qual já te comprometeste e não acrescenta nenhuma. Para adicionar capacidade, consulte Aumentar a capacidade.

Note

Uma transição move capacidade, não tráfego. Depois de concluído, atualize o serviço de modelo Unity Gateway à frente dos seus endpoints para enviar tráfego para o destino. Consulte Configurar roteamento e alternativas para modelos.

Transições elegíveis

A Databricks determina quais os modelos que são destinos elegíveis, sujeitos à disponibilidade de capacidade. Os seguintes modelos são destinos elegíveis para uma transferência de capacidade:

Provider Modelo Nome do ponto final
Zhipu AI GLM 5.3 databricks-glm-5-3
Zhipu AI GLM 5.3 Flash databricks-glm-5-3-flash
IA Tiro na Lua Kimi K3 databricks-kimi-k3
DeepSeek Flash DeepSeek V4.1 (1017) databricks-deepseek-v4-1-flash-1017
DeepSeek DeepSeek V4.1 Flash databricks-deepseek-v4-1-flash

Transferir uma reserva

  1. Certifique-se de que o endpoint de destino existe. Se não existir, crie primeiro um endpoint de throughput provisionado reservado para o endpoint de destino. Se o endpoint estiver lá apenas para receber unidades de modelo transferidas, selecione 0 (endpoint vazio) para a sua capacidade. Consulte Criar um endpoint de taxa de transferência provisionada reservada.

  2. Abra o endpoint de origem e selecione Editar>Transição de modelo.

    separador Modelo de transição na página Editar endpoint de disponibilização, com um modelo de destino selecionado e as unidades do modelo e o termo a mover.

  3. Para Modelo de transição, selecione o endpoint de destino.

  4. Em Reservas para transição, selecione as reservas que pretende mover. As reservas em período de espera não são selecionáveis.

  5. Em Capacidade e duração do compromisso, para cada reserva selecionada:

    • Defina as unidades do modelo para se moverem, em incrementos de 50. O predefinido é a reserva completa.
    • Escolha o prazo da reserva para começar.
  6. Revise o resumo do que será reemitido no destino e, em seguida, selecione Atualizar.

  7. Verifique a secção Configuração Ativa em ambas as páginas de detalhe do endpoint para confirmar as novas reservas e, em seguida, reaponte o seu tráfego para o serviço do modelo de destino.

Regras de transição

Regra Detail
Ambos os endpoints devem já existir Uma transição move capacidade entre dois endpoints de throughput provisionado reservado no mesmo espaço de trabalho. O destino pode estar vazio ou já ter reservas próprias.
Tempo de recarga: podes fazer a transição de uma reserva apenas uma vez a cada 7 dias (168 horas) Uma reserva pode ser transferida uma vez a cada 7 dias. As reservas ainda em período de espera não podem ser selecionadas, e as unidades de modelo recém-compradas não podem ser movidas imediatamente. O Azure Databricks reserva-se o direito de limitar o número de transferências de reservas por espaço de trabalho.
Pode transicionar unidades de modelo em incrementos de 50 Mova a reserva total ou uma quantidade parcial em incrementos de 50 unidades de modelo.
Uma transferência redefine o prazo de compromisso As unidades do modelo que mover iniciam um termo novo completo no endpoint de destino, independentemente do tempo que restou na reserva de origem, e o tempo já decorrido no termo de origem não é creditado de volta. Se transferir uma reserva de 200 unidades modelo com uma semana restante num prazo de 1 mês, recebe uma reserva para 200 unidades modelo num novo prazo de 1 mês.
A renovação automática transfere-se para o endpoint de destino As unidades de modelo transferidas mantêm a sua configuração de renovação automática do endpoint de origem. As unidades de modelo restantes na origem mantêm as suas definições de renovação automática e os tempos de recarga.
A faturação segue a tarifa do modelo de destino As unidades de modelo movidas são faturadas à taxa do modelo de destino para o termo que selecionar. Veja Como funciona a tarifação.
Permanece um endpoint de origem esvaziado Se mover todas as unidades do modelo para fora de um endpoint, o endpoint não é eliminado. Fica no teu espaço de trabalho sem reservas e com 0 unidades de modelo, por isso podes transferir capacidade de volta para ele mais tarde ou eliminá-la tu próprio.

Exemplos

Scenario Antes Depois
Transição completa: Transferir todas as 200 unidades modelo do GLM 5.3 para o Kimi K3 e manter o prazo de 1 mês.
  • GLM 5.3: 200 unidades modelo num período de 1 mês.
  • Kimi K3: Vazio.
  • GLM 5.3: 0 unidades de modelo.
  • Kimi K3: 200 unidades de modelo num novo período de 1 mês, em período de cooldown durante 7 dias.
Transição parcial: A 10 de novembro, transferir 100 unidades modelo do GLM 5.3 para o Kimi K3.
  • GLM 5.3: 250 unidades modelo num prazo de 1 mês, com expiração a 1 de dezembro.
  • Kimi K3: 50 unidades de modelo.
  • GLM 5.3: 150 unidades de modelo, ainda a expirar a 1 de dezembro.
  • Kimi K3: As 50 unidades de modelo originais, mais 100 unidades de modelo num novo prazo de 1 mês.
Estenda um prazo: Mova todas as 100 unidades modelo do GLM 5.3 para o Kimi K3 e escolha um prazo de 3 meses.
  • GLM 5.3: 100 unidades modelo num prazo de 1 mês.
  • Kimi K3: Vazio.
  • GLM 5.3: 0 unidades de modelo.
  • Kimi K3: 100 unidades modelo num novo período de 3 meses.

Note

Os termos são calculados em UTC, usando 30 dias para um período de 1 mês e 90 dias para um período de 3 meses. A expiração arredonda-se até à próxima meia-noite UTC.

Validade

  • No termo do prazo, o pool reservado caduca. O tráfego é então tratado como qualquer tráfego acima da sua capacidade reservada: vai para o seu fallback pay-per-token configurado, ou é limitado pela taxa se não tiver fallback configurado. Veja Lidar com o tráfego acima da sua capacidade reservada.
  • Para manter a capacidade reservada após o término de um período, crie uma nova reserva antes que a atual expire. Veja Aumentar a capacidade.
  • As reservas expiradas permanecem visíveis com um crachá expirado e são mantidas, não apagadas.

Gere tráfego acima da sua capacidade reservada

Um endpoint de throughput provisionado reservado serve apenas o tráfego da sua capacidade reservada. O Azure Databricks não encaminha automaticamente o overflow para pay-per-token. Quando o tráfego excede a sua capacidade reservada, seja por um burst ou porque uma reserva expirou, esses pedidos são rejeitados com um erro de limite de taxa.

Para continuar a servir essa sobrecarga, configura um plano B no Unity Gateway model service à frente do teu endpoint. Defina o endpoint de throughput provisionado reservado como destino principal e um endpoint pay-per-token ou prioritário pay-per-token como alternativa. Quando o endpoint reservado devolve um erro de limite de taxa, o serviço modelo tenta novamente o pedido contra o destino alternativo, pelo que a carga de trabalho continua a correr e paga apenas por token pelo excedente.

Para os passos de configuração, veja Configurar roteamento e alternativas para modelos.

Limitations

  • Podes criar um endpoint de throughput provisionado reservado por modelo, por workspace, na versão atual.
  • As reservas são pré-pagas e funcionam durante o período completo. Não podes cancelar uma reserva a meio do caminho.
  • Não podes apagar um endpoint que tenha uma reserva ativa até que a reserva termine.
  • Utilizadores sem MANAGE no modelo veem vistas em modo de leitura.
  • Uma reserva pode transitar para outro modelo no máximo uma vez a cada 7 dias, e apenas para um conjunto selecionado de modelos de destino. Consulte Mover uma reserva para outro modelo.

Para mais limites das APIs do Foundation Model, consulte limites e quotas das APIs do Foundation Model.

Recursos adicionais