Gerir orçamentos para o Unity Gateway

Os orçamentos ajudam-no a monitorizar e controlar os gastos mensais do Unity Gateway usando filtros aplicados aos registos de faturação. Pode definir um orçamento especificamente para o produto Unity Gateway para acompanhar apenas os gastos com o Unity Gateway, ou incluir o Unity Gateway num orçamento para toda a conta.

Os administradores de contas e espaços de trabalho podem visualizar um resumo do estado do orçamento e dos gastos da IA na página de IA no Governance Hub.

Para detalhes sobre a criação e monitorização de orçamentos, consulte Criar e monitorizar orçamentos. Para definir quem pode visualizar e gerir um orçamento, consulte Gerir permissões orçamentais.

Requirements

• Unity Gateway ativado para a sua conta.

O que cobrem os orçamentos do Unity Gateway?

Os orçamentos do Unity Gateway abrangem os gastos que fluem através do Unity Gateway:

• utilização com pagamento por token
• ai_query
• Génio. Veja Gerir orçamentos e controlos de custos para o Genie.
• (Opcional) Fornecedores Modelo Externos (Serviços de Fornecedores Modelo).

Estes orçamentos não cobrem o seguinte:

• Capacidade de processamento provisionada
• Tráfego enviado diretamente para endpoints de Model Serving independentes que não passa pelo Unity Gateway

Como funcionam os orçamentos com o Unity Gateway

Ao criar um orçamento, selecione o Unity Gateway como tipo de recurso para acompanhar apenas os gastos com o Unity Gateway.

Tipos de limite: Para orçamentos abrangidos pelo Unity Gateway, pode configurar:

• Limiares partilhados: Um limite coletivo de despesa para todos os utilizadores dentro do âmbito orçamental.
• Limiares por utilizador: Um limite mensal que se aplica a cada utilizador individual.
• Exceções por utilizador: Atribua a utilizadores ou grupos específicos um limite de gastos superior ao limite padrão por utilizador. Os utilizadores abrangidos por uma exceção podem gastar até ao valor da exceção em vez do limite padrão por utilizador. Se um utilizador pertencer a vários grupos de sobreposição, aplica-se o limiar mais alto.

Para limiares partilhados e por utilizador, pode configurar uma ou ambas as seguintes ações quando um limiar é atingido:

• Enviar alerta: Envia uma notificação por email para endereços configurados. Os utilizadores mantêm o acesso ao Unity Gateway.
• Utilização de blocos: Impede o utilizador de fazer novos pedidos através do Unity Gateway. O utilizador vê uma mensagem a indicar que o seu orçamento está esgotado. O acesso retoma depois de o orçamento ser redefinido ou após um administrador aumentar o limiar.

Os administradores de contas podem ver estimativas de despesa quase em tempo real na página de detalhes do orçamento.

Incluir utilização de modelos externos

Ao criar um orçamento para o Unity Gateway, selecione Incluir uso de modelos externos para incluir o gasto estimado dos pedidos encaminhados para modelos externos através dos serviços do fornecedor de modelos.

Quando ativada, a despesa com modelos externos conta para os limiares partilhados e por utilizador do orçamento. As ações configuradas de alerta e bloco de utilização aplicam-se quando a despesa combinada atinge um determinado limite. Se não selecionar esta opção, o orçamento exclui a despesa com modelos externos, mas continua a incluir a utilização de modelos alojados no Azure Databricks.

O Azure Databricks estima o gasto em modelos externos a partir do uso de tokens e dos preços publicados pelo fornecedor externo. Estes orçamentos podem diferir da fatura final do seu fornecedor. Para análise histórica do gasto em modelos externos, consulte a system.ai_gateway.external_model_spend tabela do sistema. Consulte modelos externos. Os custos de modelos externos incluídos no orçamento refletem qualquer multiplicador de preço que esteja configurado no serviço do fornecedor do modelo.

Filtros de etiquetas de orçamento aplicam-se às etiquetas de serviço modelo. As etiquetas do pedido estão disponíveis na tabela do sistema de custos de modelos externos, mas não afetam a correspondência com o orçamento.

Limitações

• A inferência de throughput provisionada não é atualmente monitorizada.

• Cada orçamento suporta um máximo de quatro limiares partilhados e 100 substituições por utilizador.

• A sua conta pode ter um máximo de 1.000 orçamentos.

• Os limiares de utilização de blocos são impostos de forma aproximada. A fiscalização utiliza uma estimativa quase em tempo real do custo, pelo que o gasto real pode variar acima ou abaixo do limiar configurado. Isto significa:

  • Um utilizador pode ser bloqueado antes de o seu gasto real atingir o limiar.
  • Pode ocorrer um montante de despesa acima do limiar antes de a aplicação da lei entrar em vigor. Os pedidos ativos em curso quando o limiar é atingido não são interrompidos.

  system.billing.usage continua a ser a fonte fidedigna para a utilização efetivamente faturada pela Databricks. Em caso de discrepâncias entre a utilização registada face a um orçamento e os custos reais, o Azure Databricks pode ajustar retroativamente as estimativas orçamentais para as reconciliar. Para o uso de modelos externos, a fatura do fornecedor externo é a fonte de verdade para os custos reais do fornecedor.

• Os montantes de despesa nos emails de alerta orçamental, na página de detalhes do orçamento, system.billing.usage, e system.ai_gateway.external_model_spend podem variar quando comparados no mesmo momento. Isto é esperado, porque cada fonte atualiza a uma taxa diferente:

  • Emails de alerta orçamental: Refletir o gasto no momento em que o alerta foi acionado.
  • Página de detalhes do orçamento: Atualiza com frequência, mas pode mostrar um valor inferior ao de um email de alerta recente quando consultado pouco depois.
  • system.billing.usage: Atualizações de poucas em poucas horas. Consultar tabelas do sistema pouco depois de receber um alerta pode devolver um valor de despesa inferior ao da página de detalhes orçamentais ou dos emails de alerta.
  • system.ai_gateway.external_model_spend: Atualiza de hora a hora com uma estimativa da despesa com modelos externos. Os orçamentos podem diferir da fatura final do seu fornecedor.

  A fiscalização orçamental, incluindo o bloqueio de utilização e os limiares de alerta, baseia-se no acompanhamento de gastos quase em tempo real e não é afetada pelo tempo de atualização da tabela do sistema.

Recursos adicionais

• Analisar o custo do Unity Gateway
• Criar um serviço personalizado de modelos
• Criar e monitorizar orçamentos
• Gerir permissões orçamentais
• Gerir orçamentos e controlos de custos para o Genie