Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Osserva e analizza i costi di tutto il traffico Unity Gateway per servizio modello, modello target e principale richiedente.
Gli amministratori dell'account e dell'area di lavoro possono visualizzare una panoramica consolidata della spesa per intelligenza artificiale nella pagina intelligenza artificiale nell'hub di governance.
Note
L'osservabilità dei costi si basa su Azure Databricks record di fatturazione. Per analisi dell'uso a livello di richiesta come conteggio dei token, latenza, dettagli del richiedente e tag di richiesta, vedi Traccia dell'uso del modello.
Requirements
- Unity Gateway abilitato per il tuo account.
- Uno spazio di lavoro Azure Databricks in una regione supportata da Unity Gateway.
- La tabella di sistema per l'utilizzo fatturabile è abilitata per il tuo account. Vedere Abilitare le tabelle di sistema.
Attribuzione
Unity Gateway fornisce l'attribuzione dei costi tramite la tabella del sistema di utilizzo fatturabile (system.billing.usage).
Unity Gateway arricchisce MODEL_SERVING i record system.billing.usage di fatturazione con metadati specifici per servizio, così puoi attribuire il costo di Azure Databricks ai servizi associati, ai modelli target, ai principali e ai service tag. Per le definizioni complete dello schema e dei campi, vedere le informazioni di riferimento sulla tabella del sistema di utilizzo della fatturazione.
La tabella del sistema per l'utilizzo fatturabile include l'attribuzione dei costi per i modelli ospitati in Azure Databricks. Per la spesa del modello esterno, vedere Modelli esterni.
Per le richieste servite tramite un servizio modello Unity Gateway, Azure Databricks compila i seguenti campi sui MODEL_SERVING record in system.billing.usage:
| Field | Description |
|---|---|
usage_metadata.ai_gateway.endpoint_name |
Il nome del servizio modello Unity Gateway che ha ricevuto la richiesta. Questo è il nome completamente qualificato di Unity Catalog, nel formato <catalog>.<schema>.<modelservice>. |
usage_metadata.ai_gateway.endpoint_id |
L'ID del servizio modello Unity Gateway. |
usage_metadata.ai_gateway.destination_model |
Modello di destinazione che ha gestito la richiesta, ad esempio GPT-5.2. |
usage_metadata.ai_gateway.destination_id |
L'ID della destinazione che ha gestito la richiesta. |
identity_metadata.run_by |
Utente o entità servizio che ha emesso la richiesta. |
custom_tags |
Service tag configurati sul servizio modello Unity Gateway, come team o cost_center. |
Unity Gateway popola questi campi sia per richieste di inferenza in tempo reale che per quelle batch instradate attraverso di esso.
Modelli esterni
Per le richieste instradate a modelli esterni tramite i servizi del fornitore modello nel Catalogo Unity, Azure Databricks calcola la spesa stimata in USD per ogni richiesta dall'utilizzo del token e dai prezzi pubblicati dal fornitore esterno, adeguati da qualsiasi moltiplicatore di prezzo configurato sul servizio del fornitore modello. La spesa viene aggregata ogni ora e registrata nella tabella di system.ai_gateway.external_model_spend sistema. Usare questa tabella per analizzare la spesa esterna del modello in base al servizio provider di modelli, al modello di destinazione e all'entità richiesta.
Note
La spesa relativa ai modelli esterni viene fornita solo a scopo informativo. Questi preventivi potrebbero non riflettere la fattura finale del tuo fornitore e Azure Databricks non è responsabile per discrepanze nella fatturazione di terze parti.
Schema di spesa del modello esterno
La system.ai_gateway.external_model_spend tabella presenta lo schema seguente:
| Nome della colonna | Tipo | Description |
|---|---|---|
record_id |
filo | Identificatore univoco per il record di spesa aggregato. |
account_id |
filo | ID dell'account. |
workspace_id |
filo | ID dell'area di lavoro in cui è configurato il servizio provider di modelli. |
usage_date |
DATE | Data del record di utilizzo, derivato da usage_start_time. |
usage_start_time |
TIMESTAMP | Inizio della finestra di aggregazione oraria, in formato UTC. |
usage_end_time |
TIMESTAMP | Fine della finestra di aggregazione oraria, in formato UTC. |
ingestion_date |
DATE | Data di inserimento del record nella tabella. |
usage_metadata |
STRUCT | Metadati sull'utilizzo del modello esterno, tra cui provider, modelendpoint_id, endpoint_name, destination_id, e destination_name. |
custom_tags |
STRUCT | Tag forniti dall'utente per l'attribuzione dei costi, inclusi endpoint_tags e request_tags. |
usage_unit |
filo | Unità di misura per usage_quantity. Sempre USD. |
usage_quantity |
DECIMALE | Costo stimato, in usage_unit, per la finestra di aggregazione. |
pricing_metadata |
STRUCT | Metadati relativi ai prezzi applicati, inclusi service_tier e long_context. |
identity_metadata |
STRUCT | Identità del richiedente, inclusi run_by e run_as. |
Analizza la spesa nella dashboard di utilizzo
Il cruscotto di utilizzo integrato di Unity Gateway ti aiuta a identificare le tendenze di spesa, confrontare modelli e utenti e attribuire la spesa a team e progetti. Include la spesa di modelli ospitata su Azure Databricks e la stima della spesa per modelli esterni.
Apri dashboard di utilizzo di Unity Gateway > Govern >.
- Panoramica: Confronta la spesa del modello e degli utenti, monitora le modifiche e valuta la spesa media per milione di token o per richiesta.
- Spesa: Esplora la spesa per modello e utente insieme all'uso dei token e alla cache. Usa User Spend Breakdown per identificare gli utenti con la spesa più alta e i modelli e servizi su cui spendono di più.
- Service tag: applica i tag ai servizi per attribuire la spesa a team o progetti. Seleziona una Chiave del Tag di Servizio e una o più voci di Valore del Tag di Servizio nei filtri globali per focalizzare l'analisi. Nella scheda Spesa, usa Raggruppa la spesa per tag di servizio per confrontare le spese tra i valori dei tag.
- Request tag: Invia tag tramite le intestazioni delle richieste per attribuire la spesa ai singoli carichi di lavoro. Nella scheda Spesa, usa Raggruppa la spesa per tag di richiesta per confrontare la spesa stimata tra i valori dei tag di richiesta.
- Sessioni di agente di codifica: Indaga le sessioni di alto consumo nella scheda Agenti di Codifica , con la spesa stimata della sessione insieme all'uso dei token, ai modelli e all'attività dei sottoagenti.
Vedi Dashboard di utilizzo integrato per configurare e aggiornare la dashboard di utilizzo.
Analisi dei costi
Tip
Genie Code può farlo per te. Provare questo prompt di esempio:
Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.
Modelli ospitati da Databricks
Le query seguenti analizzano i costi dei modelli ospitati in Azure Databricks in system.billing.usage. I costi possono essere suddivisi in base al servizio modello, al modello di destinazione e all'entità.
Per servizio modello
SELECT
usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;
Per modello di destinazione
SELECT
usage_metadata.ai_gateway.destination_model AS destination_model,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;
Per utente o entità di servizio
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND identity_metadata.run_by IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;
Modelli esterni
Le query seguenti analizzano la spesa per modelli esterni in system.ai_gateway.external_model_spend. La spesa può essere suddivisa in base al servizio provider di modelli, al modello di destinazione e ai tag di richiesta.
Per servizio del provider di modelli
SELECT
usage_metadata.endpoint_name AS model_provider_service,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;
Per modello di destinazione
SELECT
usage_metadata.model AS destination_model,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;
Per utente o entità di servizio
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;
Per tag di richiesta
Per aggiungere tag di richiesta alle tue richieste, vedi Tag delle richieste.
SELECT
custom_tags.request_tags['team'] AS team,
SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;
Limitations
- L'attribuzione dei costi per i modelli ospitati in Azure Databricks si applica ai record
MODEL_SERVINGinsystem.billing.usage. - Per i servizi del modello con più destinazioni, ad esempio la suddivisione del traffico o il fallback,
ai_gateway.destination_modeleai_gateway.destination_ididentificano la destinazione che ha infine gestito la richiesta. - La spesa per modelli esterni è supportata solo per i servizi del provider di modelli in Unity Catalog.
- Il monitoraggio dei costi dei modelli esterni non è attualmente supportato per il provider Custom. Azure Databricks stima la spesa rispetto ai prezzi pubblicati di ogni provider, che non sono disponibili per gli endpoint personalizzati.