Gerir orçamentos para o Unity AI Gateway

Os orçamentos ajudam-no a monitorizar e controlar os gastos mensais do Unity AI Gateway usando filtros aplicados aos registos de faturação. Pode definir um orçamento específico para o produto Unity AI Gateway para acompanhar apenas os gastos com Unity AI Gateway, ou incluir o Unity AI Gateway num orçamento para toda a conta.

Os administradores de contas e espaços de trabalho podem visualizar um resumo do estado do orçamento e dos gastos da IA na página de IA no Governance Hub.

Para detalhes sobre a criação e monitorização de orçamentos, consulte Criar e monitorizar orçamentos.

Requirements

• Unity AI Gateway ativado para a sua conta.

Como funcionam os orçamentos com o Unity AI Gateway

Ao criar um orçamento, selecione o Unity AI Gateway como tipo de recurso para acompanhar apenas os gastos com o Unity AI Gateway, incluindo pay-per-token, ai_query inferência e uso opcional de modelos externos.

Tipos de limite: Para orçamentos aplicados ao Unity AI Gateway, pode configurar:

• Limiares partilhados: Um limite coletivo de despesa para todos os utilizadores dentro do âmbito orçamental.
• Limiares por utilizador: Um limite mensal que se aplica a cada utilizador individual.
• Exceções por utilizador: Atribua a utilizadores ou grupos específicos um limite de gastos superior ao limite padrão por utilizador. Os utilizadores abrangidos por uma exceção podem gastar até ao valor da exceção em vez do limite padrão por utilizador. Se um utilizador pertencer a vários grupos de sobreposição, aplica-se o limiar mais alto.

Para limiares partilhados e por utilizador, pode configurar uma ou ambas as seguintes ações quando um limiar é atingido:

• Enviar alerta: Envia uma notificação por email para endereços configurados. Os utilizadores mantêm o acesso ao Unity AI Gateway.
• Utilização de blocos: Impede o utilizador de fazer pedidos adicionais através do Unity AI Gateway. O utilizador vê uma mensagem a indicar que o seu orçamento está esgotado. O acesso retoma depois de o orçamento ser redefinido ou após um administrador aumentar o limiar.

Os administradores de contas podem ver estimativas de despesa quase em tempo real na página de detalhes do orçamento.

Incluir utilização de modelos externos

Ao criar um orçamento para o Unity AI Gateway, selecione Incluir uso de modelos externos para incluir a estimativa de despesa dos pedidos encaminhados para modelos externos através dos serviços do fornecedor de modelos.

Quando ativada, a despesa com modelos externos conta para os limiares partilhados e por utilizador do orçamento. As ações configuradas de alerta e bloco de utilização aplicam-se quando a despesa combinada atinge um determinado limite. Se não selecionar esta opção, o orçamento exclui a despesa com modelos externos, mas continua a incluir a utilização de modelos alojados no Azure Databricks.

O Azure Databricks estima o gasto em modelos externos a partir do uso de tokens e dos preços publicados pelo fornecedor externo. Estes orçamentos podem diferir da fatura final do seu fornecedor. Para análise histórica do gasto em modelos externos, consulte a system.ai_gateway.external_model_spend tabela do sistema. Consulte modelos externos.

Filtros de etiquetas de orçamento aplicam-se às etiquetas de serviço modelo. As etiquetas do pedido estão disponíveis na tabela do sistema de custos de modelos externos, mas não afetam a correspondência com o orçamento.

Limitações

• A inferência de throughput provisionada não é atualmente monitorizada.

• Cada orçamento suporta um máximo de quatro limiares partilhados e 20 sobrescrições por utilizador.

• A sua conta pode ter um máximo de 1.000 orçamentos.

• Os limiares de utilização de blocos são impostos de forma aproximada. A fiscalização utiliza uma estimativa quase em tempo real do custo, pelo que o gasto real pode variar acima ou abaixo do limiar configurado. Isto significa:

  • Um utilizador pode ser bloqueado antes de o seu gasto real atingir o limiar.
  • Pode ocorrer um montante de despesa acima do limiar antes de a aplicação da lei entrar em vigor. Os pedidos ativos em curso quando o limiar é atingido não são interrompidos.

  system.billing.usage continua a ser a fonte fidedigna para a utilização efetivamente faturada pela Databricks. Em caso de discrepâncias entre a utilização registada face a um orçamento e os custos reais, o Azure Databricks pode ajustar retroativamente as estimativas orçamentais para as reconciliar. Para o uso de modelos externos, a fatura do fornecedor externo é a fonte de verdade para os custos reais do fornecedor.

• Os montantes de despesa nos emails de alerta orçamental, na página de detalhes do orçamento, system.billing.usage, e system.ai_gateway.external_model_spend podem variar quando comparados no mesmo momento. Isto é esperado, porque cada fonte atualiza a uma taxa diferente:

  • Emails de alerta orçamental: Refletir o gasto no momento em que o alerta foi acionado.
  • Página de detalhes do orçamento: Atualiza com frequência, mas pode mostrar um valor inferior ao de um email de alerta recente quando consultado pouco depois.
  • system.billing.usage: Atualizações de poucas em poucas horas. Consultar tabelas do sistema pouco depois de receber um alerta pode devolver um valor de despesa inferior ao da página de detalhes orçamentais ou dos emails de alerta.
  • system.ai_gateway.external_model_spend: Atualiza de hora a hora com uma estimativa da despesa com modelos externos. Os orçamentos podem diferir da fatura final do seu fornecedor.

  A fiscalização orçamental, incluindo o bloqueio de utilização e os limiares de alerta, baseia-se no acompanhamento de gastos quase em tempo real e não é afetada pelo tempo de atualização da tabela do sistema.

Recursos adicionais

• Analisar o custo do Unity AI Gateway
• Criar e gerir APIs modelo (serviços modelo)
• Criar e monitorizar orçamentos
• Gerir orçamentos e controlos de custos para o Genie