Spåra användningen av modellen

Denna sida beskriver hur man övervakar användningen för Unity Gateway-tjänster med hjälp av tabellen för användningsspårningssystemet.

Tabellen för användningsspårning fångar förfrågnings- och svarsdetaljer för modelltjänster, modellleverantörstjänster och MCP-tjänster. För modellförfrågningar registrerar den mått som tokenanvändning och latens. För MCP-förfrågningar registrerar den metadata från samtal och tjänster. Använd tabellen för att övervaka användare, följa kostnader och analysera tjänstanvändning och prestanda.

Användningsspårning samlar ai_query också in begäranden till databricks-tillhandahållna modelltjänster.

Konto- och arbetsyteadministratörer kan visa en samlad översikt över AI-användning på AI-sidan i Styrningshubben.

Requirements

• En Azure Databricks workspace i en region som stöds av Unity Gateway.
• Unity Catalog har aktiverats för din arbetsyta. Se Aktivera en arbetsyta för Unity Catalog.

Pricing

Användningsspårning är en fakturerad Unity Gateway-funktion. Azure Databricks tar betalt för den användning som loggas till system.ai_gateway.usage tabellen. Se prissättning för Unity Gateway.

Hämta från användningstabellen

Unity Gateway loggar användningsdata till system.ai_gateway.usage systemtabellen. Du kan visa tabellen i användargränssnittet eller fråga tabellen från Databricks SQL eller en notebook-fil.

Om du vill visa tabellen i användargränssnittet klickar du på länken för användningsspårningstabellen på modelltjänstsidan för att öppna tabellen i Catalog Explorer.

Så här frågar du tabellen från Databricks SQL eller en notebook-fil:

SELECT * FROM system.ai_gateway.usage;

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Inbyggd instrumentpanel för användning

Skapa en inbyggd användningsdashboard

Kontoadministratörer kan skapa en inbyggd Unity Gateway-användningsdashboard för att övervaka användning, följa kostnader och få insikter i modellens tjänsteprestanda och förbrukning. Från sidan Unity Gateway, klicka på Styr uppe till höger och sedan på Skapa användningsdashboard. Det datalager som används för instrumentpanelens frågor väljs automatiskt.

När en nyare version av den inbyggda användningsdashboarden finns tillgänglig kan kontoadministratörer klicka på Uppdatera på raden för dashboardversioner i rullgardinsmenyn Styr på Unity Gateway-sidan.

Du kan använda följande konfigurationsalternativ för instrumentpanelen för att hantera instrumentpanelen:

• Omfattning: Välj om instrumentpanelen ska omfatta kontot eller arbetsytan.
• Behörigheter: Välj om frågor ska köras med hjälp av instrumentpanelens ägares behörigheter eller varje visningsprograms behörigheter. Se Vad är delade databehörigheter?.
• Automatiska uppdateringar: När du aktiverar detta alternativ uppdateras dashboarden automatiskt när en nyare version blir tillgänglig och en kontoadministratör besöker Unity Gateway-sidan.

När instrumentpanelen uppdateras till version 0.3 eller senare skapas automatiskt ett schema för att uppdatera instrumentpanelen var 6:e timme. Om det behövs kan det här schemat inaktiveras på Lakeview-instrumentpanelen. Se Skapa ett schema.

Visa instrumentpanelen för användning

För att se instrumentpanelen, klicka på Styr uppe till höger på Unity Gateway-sidan och klicka sedan på Usage Dashboard. Instrumentpanelen öppnas i en ny flik. Den inbyggda instrumentpanelen har omfattande insyn i Unity Gateway-modellens tjänsteanvändning, prestanda och kostnad. Den innehåller flera sidor som spårar begäranden, tokenförbrukning, svarstidsmått, felfrekvenser, kostnadsuppdelningar, extern MCP-servertrafik och kodningsagentaktivitet.

Instrumentpanelen tillhandahåller analys mellan arbetsytor som standard. Alla instrumentpanelssidor kan filtreras efter datumintervall och arbetsyte-ID.

• Fliken Översikt: Visar användningsstatistik på hög nivå, inklusive daglig begärandevolym, trender för tokenanvändning över tid, toppanvändare efter tokenförbrukning och totalt antal unika användare. Använd denna flik för att snabbt få en ögonblicksbild av den totala aktiviteten i Unity Gateway och identifiera de mest aktiva användarna och modellerna.
• Fliken Prestanda: Spårar viktiga prestandamått, inklusive percentiler för svarstid (P50, P90, P95, P99), tid till första byte, felfrekvenser och HTTP-statuskoddistributioner. Använd den här fliken om du vill övervaka modellens tjänsthälsa och identifiera prestandaflaskhalsar eller tillförlitlighetsproblem.
• Fliken Användning: Visar detaljerade förbrukningsuppdelningar efter modelltjänst, arbetsyta och beställare. På den här fliken visas mönster för tokenanvändning, distributioner av begäranden och cacheträffar.
• Fliken Kostnadsobservabilitet: Visar kostnadsuppdelningar efter modelltjänst, målmodell, användare, tjänsttaggar och begärandetaggar. Den här fliken innehåller även uppskattade kostnader för externa modeller. Se Analysera kostnaden för Unity Gateway.
• Fliken Extern MCP-server: Visar begärandevolym, felfrekvens, användare och anslutningar samt dagliga användningstrender för extern MCP-servertrafik.
• Fliken Coding Agents: Spårar aktivitet från integrerade kodagenter inklusive Claude Code, Codex CLI, Cursor och Gemini CLI. Den här fliken visar mått som aktiva dagar, kodningssessioner, incheckningar och rader med kod som läggs till eller tas bort för att övervaka användningen av utvecklarverktyg. Mer information finns i instrumentpanelen för kodningsagenten .

Schema för användningstabell

Tabellen system.ai_gateway.usage har följande schema:

Nästlade kolumnscheman

Följande tabeller beskriver fält inom nästlade kolumner STRUCT . Fälttillgängligheten beror på vilken tjänst, modell och klient som används för förfrågan.

Anrop och tokenmetadata

MCP-tjänstemetadata

Dessa fält fylls i i mcp_metadata för MCP_SERVICE rader.

Sessionsmetadata

Fälten session_metadata hjälper till att korrelera förfrågningar inom en session och särskilja kodagenter, klientgränssnitt och förfrågningsinställningar. Varje fält fylls i när motsvarande information finns tillgänglig från klienten eller förfrågan.

Tagga begäranden för användningsspårning

Begärandetaggar är anpassade nyckel/värde-par som anroparen kopplar till enskilda begäranden. Använd begärandetaggar för att tillskriva användning efter projekt, team, miljö, slutanvändare eller någon annan dimension som är relevant för din organisation. Begärandetaggar loggas till system.ai_gateway.usage tabellen och kan användas för att filtrera, aggregera och analysera användningsdata.

Om du vill tagga enskilda begäranden inkluderar du Databricks-Ai-Gateway-Request-Tags HTTP-huvudet med ett JSON-objekt som mappar strängnycklar till strängvärden. Begärandetaggar loggas i kolumnen request_tags i användningstabellen och i inferenstabeller.

För exempel som visar hur man sätter request-taggar med REST API, OpenAI SDK och Anthropic SDK, se Request tagging.

Du kan till exempel aggregera användning per projekt med hjälp av begärandetaggar:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitations

• Unity Gateway spårar inte tokenanvändning för icke-strömmande svar och icke-inbäddningssvar som är större än 1 MiB.

Ytterligare resurser

• AI-styrning med Unity Gateway
• Skapa en anpassad modelltjänst
• Frågegrund- och inbäddningsmodeller
• kodagentintegration
• Loggförfrågningar och svar på inferenstabeller
• Tillämpa hastighetsbegränsningar på modell- och MCP-tjänster