Analizza il costo del Gateway Unity

Osserva e analizza i costi di tutto il traffico Unity Gateway per servizio modello, modello target e principale richiedente.

Gli amministratori dell'account e dell'area di lavoro possono visualizzare una panoramica consolidata della spesa per intelligenza artificiale nella pagina intelligenza artificiale nell'hub di governance.

Note

L'osservabilità dei costi si basa su Azure Databricks record di fatturazione. Per analisi dell'uso a livello di richiesta come conteggio dei token, latenza, dettagli del richiedente e tag di richiesta, vedi Traccia dell'uso del modello.

Requirements

Attribuzione

Unity Gateway fornisce l'attribuzione dei costi tramite la tabella del sistema di utilizzo fatturabile (system.billing.usage).

Unity Gateway arricchisce MODEL_SERVING i record system.billing.usage di fatturazione con metadati specifici per servizio, così puoi attribuire il costo di Azure Databricks ai servizi associati, ai modelli target, ai principali e ai service tag. Per le definizioni complete dello schema e dei campi, vedere le informazioni di riferimento sulla tabella del sistema di utilizzo della fatturazione.

La tabella del sistema per l'utilizzo fatturabile include l'attribuzione dei costi per i modelli ospitati in Azure Databricks. Per la spesa del modello esterno, vedere Modelli esterni.

Per le richieste servite tramite un servizio modello Unity Gateway, Azure Databricks compila i seguenti campi sui MODEL_SERVING record in system.billing.usage:

Field Description
usage_metadata.ai_gateway.endpoint_name Il nome del servizio modello Unity Gateway che ha ricevuto la richiesta. Questo è il nome completamente qualificato di Unity Catalog, nel formato <catalog>.<schema>.<modelservice>.
usage_metadata.ai_gateway.endpoint_id L'ID del servizio modello Unity Gateway.
usage_metadata.ai_gateway.destination_model Modello di destinazione che ha gestito la richiesta, ad esempio GPT-5.2.
usage_metadata.ai_gateway.destination_id L'ID della destinazione che ha gestito la richiesta.
identity_metadata.run_by Utente o entità servizio che ha emesso la richiesta.
custom_tags Service tag configurati sul servizio modello Unity Gateway, come team o cost_center.

Unity Gateway popola questi campi sia per richieste di inferenza in tempo reale che per quelle batch instradate attraverso di esso.

Modelli esterni

Per le richieste instradate a modelli esterni tramite i servizi del fornitore modello nel Catalogo Unity, Azure Databricks calcola la spesa stimata in USD per ogni richiesta dall'utilizzo del token e dai prezzi pubblicati dal fornitore esterno, adeguati da qualsiasi moltiplicatore di prezzo configurato sul servizio del fornitore modello. La spesa viene aggregata ogni ora e registrata nella tabella di system.ai_gateway.external_model_spend sistema. Usare questa tabella per analizzare la spesa esterna del modello in base al servizio provider di modelli, al modello di destinazione e all'entità richiesta.

Note

La spesa relativa ai modelli esterni viene fornita solo a scopo informativo. Questi preventivi potrebbero non riflettere la fattura finale del tuo fornitore e Azure Databricks non è responsabile per discrepanze nella fatturazione di terze parti.

Schema di spesa del modello esterno

La system.ai_gateway.external_model_spend tabella presenta lo schema seguente:

Nome della colonna Tipo Description
record_id filo Identificatore univoco per il record di spesa aggregato.
account_id filo ID dell'account.
workspace_id filo ID dell'area di lavoro in cui è configurato il servizio provider di modelli.
usage_date DATE Data del record di utilizzo, derivato da usage_start_time.
usage_start_time TIMESTAMP Inizio della finestra di aggregazione oraria, in formato UTC.
usage_end_time TIMESTAMP Fine della finestra di aggregazione oraria, in formato UTC.
ingestion_date DATE Data di inserimento del record nella tabella.
usage_metadata STRUCT Metadati sull'utilizzo del modello esterno, tra cui provider, modelendpoint_id, endpoint_name, destination_id, e destination_name.
custom_tags STRUCT Tag forniti dall'utente per l'attribuzione dei costi, inclusi endpoint_tags e request_tags.
usage_unit filo Unità di misura per usage_quantity. Sempre USD.
usage_quantity DECIMALE Costo stimato, in usage_unit, per la finestra di aggregazione.
pricing_metadata STRUCT Metadati relativi ai prezzi applicati, inclusi service_tier e long_context.
identity_metadata STRUCT Identità del richiedente, inclusi run_by e run_as.

Analizza la spesa nella dashboard di utilizzo

Il cruscotto di utilizzo integrato di Unity Gateway ti aiuta a identificare le tendenze di spesa, confrontare modelli e utenti e attribuire la spesa a team e progetti. Include la spesa di modelli ospitata su Azure Databricks e la stima della spesa per modelli esterni.

Apri dashboard di utilizzo di Unity Gateway > Govern >.

scheda Spend di ai-gateway

  • Panoramica: Confronta la spesa del modello e degli utenti, monitora le modifiche e valuta la spesa media per milione di token o per richiesta.
  • Spesa: Esplora la spesa per modello e utente insieme all'uso dei token e alla cache. Usa User Spend Breakdown per identificare gli utenti con la spesa più alta e i modelli e servizi su cui spendono di più.
  • Service tag: applica i tag ai servizi per attribuire la spesa a team o progetti. Seleziona una Chiave del Tag di Servizio e una o più voci di Valore del Tag di Servizio nei filtri globali per focalizzare l'analisi. Nella scheda Spesa, usa Raggruppa la spesa per tag di servizio per confrontare le spese tra i valori dei tag.
  • Request tag: Invia tag tramite le intestazioni delle richieste per attribuire la spesa ai singoli carichi di lavoro. Nella scheda Spesa, usa Raggruppa la spesa per tag di richiesta per confrontare la spesa stimata tra i valori dei tag di richiesta.
  • Sessioni di agente di codifica: Indaga le sessioni di alto consumo nella scheda Agenti di Codifica , con la spesa stimata della sessione insieme all'uso dei token, ai modelli e all'attività dei sottoagenti.

Vedi Dashboard di utilizzo integrato per configurare e aggiornare la dashboard di utilizzo.

Analisi dei costi

Tip

Genie Code può farlo per te. Provare questo prompt di esempio:

Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.

Modelli ospitati da Databricks

Le query seguenti analizzano i costi dei modelli ospitati in Azure Databricks in system.billing.usage. I costi possono essere suddivisi in base al servizio modello, al modello di destinazione e all'entità.

Per servizio modello

SELECT
  usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;

Per modello di destinazione

SELECT
  usage_metadata.ai_gateway.destination_model AS destination_model,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;

Per utente o entità di servizio

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND identity_metadata.run_by IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;

Modelli esterni

Le query seguenti analizzano la spesa per modelli esterni in system.ai_gateway.external_model_spend. La spesa può essere suddivisa in base al servizio provider di modelli, al modello di destinazione e ai tag di richiesta.

Per servizio del provider di modelli

SELECT
  usage_metadata.endpoint_name AS model_provider_service,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;

Per modello di destinazione

SELECT
  usage_metadata.model AS destination_model,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;

Per utente o entità di servizio

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;

Per tag di richiesta

Per aggiungere tag di richiesta alle tue richieste, vedi Tag delle richieste.

SELECT
  custom_tags.request_tags['team'] AS team,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;

Limitations

  • L'attribuzione dei costi per i modelli ospitati in Azure Databricks si applica ai record MODEL_SERVING in system.billing.usage.
  • Per i servizi del modello con più destinazioni, ad esempio la suddivisione del traffico o il fallback, ai_gateway.destination_model e ai_gateway.destination_id identificano la destinazione che ha infine gestito la richiesta.
  • La spesa per modelli esterni è supportata solo per i servizi del provider di modelli in Unity Catalog.
  • Il monitoraggio dei costi dei modelli esterni non è attualmente supportato per il provider Custom. Azure Databricks stima la spesa rispetto ai prezzi pubblicati di ogni provider, che non sono disponibili per gli endpoint personalizzati.