Unity AI Gateway-observabilitet

Unity AI Gateway-observabilitet låter dig övervaka kostnad, användning, prestanda och åtkomst för varje AI-tjänst från ett kontrollplan, backat av Unity Catalog-systemtabeller. När team adopterar kodagenter, copilots och anpassade agenter i hela organisationen blir det svårare att se vem som använder vilka modeller eller verktyg, hur mycket de kostar och om endpoints är friska. Eftersom varje förfrågan går via Unity AI Gateway kan du besvara dessa frågor på ett ställe.

Kravspecifikation

• En Azure Databricks arbetsyta i en Unity AI Gateway-stödd region.
• Den inbyggda Unity AI Gateway-användningsdashboarden. En kontoadministratör kan skapa det med hjälp av AI Gateway > Govern > Create Usage Dashboard. Se Skapa inbyggd användningsinstrumentpanel.

Övervaka kostnader

Från arbetsytans användargränssnitt går du till AI Gateway > Govern > Usage Dashboard > Cost Analysis för att följa kostnader i dollar för en endpoint, en grundmodell som tillhandahålls av Azure Databricks eller en användare över tid. Den inbyggda instrumentpanelen använder användnings- och faktureringstabeller:

• system.ai_gateway.usage loggar användningsmått såsom tokenantal och begärardetaljer för varje förfrågan som routas genom gatewayen
• system.billing.usage och system.billing.list_prices spårar Azure Databricks-förbrukning i Databricks-enheter (DBU) respektive listpris, vilka du kan sammanfoga för att uppskatta kostnader för grundmodeller (se hur du uppskattar kostnader för grundmodeller)
• system.ai_gateway.external_model_spend registrerar uppskattad USD-förbrukning, aggregerad per timme, för förfrågningar som dirigeras till externa modeller via modellleverantörstjänster

För att placera utgifter längs anpassade dimensioner, använd förfrågnings- eller servicetaggar för att gruppera kostnad efter affärsenhet, projekt eller vilken dimension din organisation än bryr sig om (se Följ grundmodellens utgifter per användare, team eller projekt).

Se Analysera kostnaden för Unity AI Gateway.

Monitoranvändning och prestanda

Unity AI Gateway användningsdashboard (AI Gateway > Govern > Usage Dashboard) spårar förfrågningsvolym, tokenförbrukning och latens för alla slutpunkter som styrs via gatewayen. Varje modell eller MCP-tjänst har också en inbyggd flik Metrics för hälsoövervakning utan att lämna Catalog Explorer-gränssnittet. För djupare analys, sök i system.ai_gateway.usage tabellen för att analysera användningsmått som tokenantal, latens, begärande och begäranartaggar för varje begäran som routas genom gatewayen (se användningstabellens schema).

Vanliga användningsområden:

• Övervaka och optimera alla dina AI-tjänster från ett ställe, över hela din AI-stack
• Följ kodningsagenters adoption och modellpopularitet över team
• Identifiera de mest aktiva användarna, tjänsterna och modellerna för att upptäcka optimeringsmöjligheter

Se Spårmodellanvändning.

Inspektera förfrågningar och svar

Aktivera inferenstabeller på en modelltjänst för att logga förfrågningar och svarspayloads till en Unity-katalogtabell. Använd inferenstabeller för att:

• Felsökning misslyckades eller oväntade svar
• Kontrollera att skyddsmekanismerna fungerar, till exempel maskning av personligt identifierbar information
• Granska exponering av känsliga datauppgifter

Se Loggförfrågningar och svar på inferenstabeller.

Granskningsåtkomst

Sök i system.access.audit tabellen för att bevisa vem som fick tillgång till vilken AI-tjänst och när. För att skilja en mänsklig inringare från en agent som agerar för deras räkning använder du fälten run_by och run_as i identity_metadata.

Vanliga användningsområden:

• Skapa ett åtkomstspår för regelefterlevnad och regulatorisk rapportering
• Särskilja en mänsklig uppringare från en agent som agerar på deras vägnar
• Upprätthåll ett centralt granskningsspår för alla kodningsagenter som dina team använder

Se referens till systemtabell för granskningslogg.

Spåra beroenden

Lineage spårar beroenden mellan grundmodeller och Model Services, samt deras nedströmskonsumenter. Använd Lineage för att begränsa effekten av att avboka eller ändra en Model Service och meddela dess ägare.

Se Ursprung i Unity Catalog.

Ytterligare resurser

• AI-styrning med Unity AI Gateway
• Användning av spårmodeller
• Analysera kostnaden för Unity AI Gateway
• Loggförfrågningar och svar på inferenstabeller
• Hantera budgetar för Unity AI Gateway