Gestione del budget per Unity AI Gateway

I budget consentono di monitorare e controllare la spesa mensile di Unity AI Gateway usando i filtri applicati ai record di fatturazione. È possibile definire un budget specifico per il prodotto Unity AI Gateway per monitorare solo la spesa relativa a Unity AI Gateway oppure includere Unity AI Gateway in un budget a livello di account.

Gli amministratori dell'account e dell'area di lavoro possono visualizzare un riepilogo dello stato del budget di intelligenza artificiale e della spesa nella pagina intelligenza artificiale nell'hub di governance.

Per informazioni dettagliate sulla creazione e il monitoraggio dei budget, vedere Creare e monitorare i budget.

Requirements

• Unity AI Gateway abilitato per il tuo account.

Funzionamento dei budget con Unity AI Gateway

Quando crei un budget, seleziona Unity AI Gateway come tipo di risorsa per monitorare solo la spesa relativa a Unity AI Gateway, inclusi il pay-per-token, l'inferenza ai_query e l'uso opzionale di modelli esterni.

Tipi di soglia: per i budget con ambito Unity AI Gateway, è possibile configurare:

• Soglie condivise: limite di spesa collettivo per tutti gli utenti nell'ambito del budget.
• Soglie per utente: limite mensile applicabile a ogni singolo utente.
• Override per utente: concedere a utenti o gruppi specifici un limite di spesa superiore rispetto alla soglia predefinita per utente. Gli utenti coperti da un override possono spendere fino all'importo dell'override anziché al limite predefinito per utente. Se un utente appartiene a più gruppi di override, viene applicata la soglia più alta.

Per le soglie condivise e per utente, è possibile configurare una o entrambe le azioni seguenti quando viene raggiunta una soglia:

• Invia avviso: invia una notifica tramite posta elettronica agli indirizzi configurati. Gli utenti mantengono l'accesso a Unity AI Gateway.
• Blocca l'utilizzo: impedisce all'utente di effettuare ulteriori richieste tramite Unity AI Gateway. L'utente visualizza un messaggio che indica che il budget è esaurito. L'accesso riprende dopo la reimpostazione del budget o un amministratore aumenta la soglia.

Gli amministratori degli account possono visualizzare la spesa stimata quasi in tempo reale nella pagina dei dettagli del budget.

Includere l'uso di modelli esterni

Quando crei un budget per Unity AI Gateway, seleziona Include uso di modelli esterni per includere la spesa stimata dalle richieste instradate a modelli esterni tramite i servizi del fornitore di modelli.

Se abilitata, la spesa per i modelli esterni viene conteggiata nelle soglie condivise del budget e in quelle per utente. Le azioni di allerta configurate e di utilizzo del blocco si applicano quando la spesa combinata raggiunge una certa soglia. Se non selezioni questa opzione, il budget esclude la spesa per modelli esterni ma continua a includere l'uso del modello ospitato su Azure Databricks.

Azure Databricks stima la spesa per modelli esterni derivanti dall'uso dei token e dai prezzi pubblicati dal fornitore esterno. Questi preventivi potrebbero differire dalla fattura finale del tuo fornitore. Per un'analisi storica della spesa di modelli esterni, consulta la system.ai_gateway.external_model_spend tabella di sistema. Vedere Modelli esterni.

I filtri per i tag di budget si applicano ai tag del servizio modello. I tag delle richieste sono disponibili nella tabella del sistema di spesa del modello esterno, ma non influiscono sulla corrispondenza del budget.

Limitations

• L'inferenza con throughput provisionato non è attualmente monitorata.

• Ogni budget supporta un massimo di quattro soglie condivise e 20 eccezioni per utente.

• L'account può avere un massimo di 1.000 budget.

• Le soglie di utilizzo dei blocchi vengono applicate in modo approssimativo. L'applicazione del limite usa una stima dei costi quasi in tempo reale, quindi la spesa effettiva può superare o risultare inferiore alla soglia configurata. Ciò significa:

  • Un utente può essere bloccato prima che la spesa effettiva raggiunga la soglia.
  • Un importo di spesa superiore alla soglia può verificarsi prima che l'applicazione entri in vigore. Le richieste attive in corso quando si raggiunge la soglia non vengono interrotte.

  system.billing.usage rimane la fonte autorevole per l'utilizzo effettivamente fatturato da Databricks. Per le discrepanze tra l'utilizzo tracciato rispetto al budget e i costi effettivi, Azure Databricks può adeguare retroattivamente le stime di bilancio per riconciliarle. Per l'uso di modelli esterni, la fattura del fornitore esterno è la fonte di verità per i costi reali del fornitore.

• Gli importi di spesa nelle email di avviso di budget, nella pagina dei dettagli del budget, system.billing.usagee system.ai_gateway.external_model_spend possono differire se confrontati nello stesso momento. Questo è previsto, perché ogni origine viene aggiornata a una frequenza diversa:

  • Email di avviso del budget: mostrano la spesa al momento in cui è stato generato l'avviso.
  • Pagina dei dettagli del budget: aggiornamenti frequenti, ma possono mostrare un importo inferiore rispetto a un messaggio di posta elettronica di avviso recente quando viene visualizzato poco dopo.
  • system.billing.usage: aggiornamenti ogni poche ore. L'esecuzione di query sulle tabelle di sistema poco dopo la ricezione di un avviso può restituire una spesa inferiore rispetto alla pagina dei dettagli del budget o ai messaggi di posta elettronica di avviso.
  • system.ai_gateway.external_model_spend: Si aggiorna ogni ora con una stima della spesa per i modelli esterni. Le stime potrebbero differire dalla fattura finale del tuo fornitore.

  L'applicazione del budget, incluso il blocco dell'utilizzo e le soglie di avviso, si basa sul monitoraggio della spesa quasi in tempo reale e non è influenzata dai tempi di aggiornamento delle tabelle di sistema.

Risorse aggiuntive

• Analizza il costo del Gateway Unity AI
• Creare e gestire API modello (servizi modello)
• Creare e monitorare i budget
• Gestire budget e controlli dei costi per Genie