Gestire i budget per Unity Gateway

I budget ti aiutano a monitorare e controllare la spesa mensile per Unity Gateway utilizzando filtri applicati ai registri di fatturazione. Puoi definire un budget specifico per il prodotto Unity Gateway per monitorare solo le spese Unity Gateway, oppure includere Unity Gateway in un budget a livello di conto.

Gli amministratori dell'account e dell'area di lavoro possono visualizzare un riepilogo dello stato del budget di intelligenza artificiale e della spesa nella pagina intelligenza artificiale nell'hub di governance.

Per informazioni dettagliate sulla creazione e il monitoraggio dei budget, vedere Creare e monitorare i budget. Per delegare chi può visualizzare e gestire un budget, vedi Gestire i permessi del budget.

Requirements

• Unity Gateway abilitato per il tuo account.

Cosa coprono i budget per Unity Gateway?

I budget del Gateway Unity coprono la spesa che fluisce attraverso il Gateway Unity:

• Utilizzo a pagamento per token
• ai_query
• Genio. Vedere Gestire budget e controlli dei costi per Genie.
• (Opzionale) fornitori modello esterni (servizi fornitori modello).

Questi budget non coprono quanto segue:

• Velocità effettiva con provisioning
• Traffico inviato direttamente agli endpoint autonomi di Model Serving senza passare attraverso Unity Gateway

Come funzionano i budget con Unity Gateway

Quando crei un budget, seleziona Unity Gateway come tipo di risorsa per tracciare solo la spesa Unity Gateway.

Tipi di soglia: Per i budget relativi a Unity Gateway, puoi configurare:

• Soglie condivise: limite di spesa collettivo per tutti gli utenti nell'ambito del budget.
• Soglie per utente: limite mensile applicabile a ogni singolo utente.
• Override per utente: concedere a utenti o gruppi specifici un limite di spesa superiore rispetto alla soglia predefinita per utente. Gli utenti coperti da un override possono spendere fino all'importo dell'override anziché al limite predefinito per utente. Se un utente appartiene a più gruppi di override, viene applicata la soglia più alta.

Per le soglie condivise e per utente, è possibile configurare una o entrambe le azioni seguenti quando viene raggiunta una soglia:

• Invia avviso: invia una notifica tramite posta elettronica agli indirizzi configurati. Gli utenti mantengono l'accesso a Unity Gateway.
• Utilizzo dei blocchi: Impedisce all'utente di effettuare ulteriori richieste tramite Unity Gateway. L'utente visualizza un messaggio che indica che il budget è esaurito. L'accesso riprende dopo la reimpostazione del budget o un amministratore aumenta la soglia.

Gli amministratori degli account possono visualizzare la spesa stimata quasi in tempo reale nella pagina dei dettagli del budget.

Includere l'uso di modelli esterni

Quando crei un budget Unity Gateway, seleziona Include uso di modelli esterni per includere la spesa stimata dalle richieste instradate a modelli esterni tramite i servizi del provider di modello.

Se abilitata, la spesa per i modelli esterni viene conteggiata nelle soglie condivise del budget e in quelle per utente. Le azioni di allerta configurate e di utilizzo del blocco si applicano quando la spesa combinata raggiunge una certa soglia. Se non selezioni questa opzione, il budget esclude la spesa per modelli esterni ma continua a includere l'uso del modello ospitato su Azure Databricks.

Azure Databricks stima la spesa per modelli esterni derivanti dall'uso dei token e dai prezzi pubblicati dal fornitore esterno. Questi preventivi potrebbero differire dalla fattura finale del tuo fornitore. Per un'analisi storica della spesa di modelli esterni, consulta la system.ai_gateway.external_model_spend tabella di sistema. Vedere Modelli esterni. La spesa per modelli esterni inclusa nel budget riflette qualsiasi moltiplicatore di prezzo configurato sul servizio del fornitore di modello.

I filtri per i tag di budget si applicano ai tag del servizio modello. I tag delle richieste sono disponibili nella tabella del sistema di spesa del modello esterno, ma non influiscono sulla corrispondenza del budget.

Limitations

• L'inferenza con throughput provisionato non è attualmente monitorata.

• Ogni budget supporta un massimo di quattro soglie condivise e 20 eccezioni per utente.

• L'account può avere un massimo di 1.000 budget.

• Le soglie di utilizzo dei blocchi vengono applicate in modo approssimativo. L'applicazione del limite usa una stima dei costi quasi in tempo reale, quindi la spesa effettiva può superare o risultare inferiore alla soglia configurata. Ciò significa:

  • Un utente può essere bloccato prima che la spesa effettiva raggiunga la soglia.
  • Un importo di spesa superiore alla soglia può verificarsi prima che l'applicazione entri in vigore. Le richieste attive in corso quando si raggiunge la soglia non vengono interrotte.

  system.billing.usage rimane la fonte autorevole per l'utilizzo effettivamente fatturato da Databricks. Per le discrepanze tra l'utilizzo tracciato rispetto al budget e i costi effettivi, Azure Databricks può adeguare retroattivamente le stime di bilancio per riconciliarle. Per l'uso di modelli esterni, la fattura del fornitore esterno è la fonte di verità per i costi reali del fornitore.

• Gli importi di spesa nelle email di avviso di budget, nella pagina dei dettagli del budget, system.billing.usagee system.ai_gateway.external_model_spend possono differire se confrontati nello stesso momento. Questo è previsto, perché ogni origine viene aggiornata a una frequenza diversa:

  • Email di avviso del budget: mostrano la spesa al momento in cui è stato generato l'avviso.
  • Pagina dei dettagli del budget: aggiornamenti frequenti, ma possono mostrare un importo inferiore rispetto a un messaggio di posta elettronica di avviso recente quando viene visualizzato poco dopo.
  • system.billing.usage: aggiornamenti ogni poche ore. L'esecuzione di query sulle tabelle di sistema poco dopo la ricezione di un avviso può restituire una spesa inferiore rispetto alla pagina dei dettagli del budget o ai messaggi di posta elettronica di avviso.
  • system.ai_gateway.external_model_spend: Si aggiorna ogni ora con una stima della spesa per i modelli esterni. Le stime potrebbero differire dalla fattura finale del tuo fornitore.

  L'applicazione del budget, incluso il blocco dell'utilizzo e le soglie di avviso, si basa sul monitoraggio della spesa quasi in tempo reale e non è influenzata dai tempi di aggiornamento delle tabelle di sistema.

Risorse aggiuntive

• Analizza il costo del Gateway Unity
• Crea un servizio di modelli personalizzati
• Creare e monitorare i budget
• Gestisci i permessi di bilancio
• Gestire budget e controlli dei costi per Genie