Śledzenie użycia modelu

Monitoruj użycie usług Unity Gateway za pomocą tabeli system.ai_gateway.usage systemowej. Rejestruje żądania do usług modeli, usług dostawców modeli oraz usług MCP z różnych źródeł, w tym AI Query, agentów kodowania, aplikacji Databricks, AI Playground i innych aplikacji.

Rekordy użytkowania obejmują szczegóły dotyczące podmiotu wysyłającego żądanie i usługi, status odpowiedzi, wykorzystanie tokenów modelu i opóźnienie, metadane połączeń MCP oraz metadane sesji agenta kodującego. Wykonaj zapytanie do tabeli w celu przeprowadzenia niestandardowej analizy lub skorzystaj z wbudowanego pulpitu użycia, aby monitorować użycie, wydatki, wdrożenie i wydajność.

Administratorzy kont i przestrzeni roboczych mogą również zobaczyć skonsolidowany przegląd wykorzystania AI na stronie AI w Governance Hub.

Requirements

Zapytanie do tabeli użycia

Unity Gateway rejestruje dane o użytkowaniu do tabeli systemowej system.ai_gateway.usage . Tabelę można wyświetlić w interfejsie użytkownika lub wykonać zapytanie za pomocą Databricks SQL albo notebooka.

Note

Dokumenty są zazwyczaj dostępne w ciągu jednej godziny. Dostarczanie danych do nowych przestrzeni roboczych może zająć więcej czasu.

Aby wyświetlić tabelę w interfejsie użytkownika, kliknij link do tabeli śledzenia użycia na stronie usługi modelu, aby otworzyć ją w Catalog Explorer.

Aby wysłać zapytanie do tabeli z bazy danych Databricks SQL lub notesu:

SELECT * FROM system.ai_gateway.usage;

Tip

Genie Code może to zrobić za Ciebie. Wypróbuj ten przykładowy monit:

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Pricing

Śledzenie użytkowania to płatna funkcja Unity Gateway. Azure Databricks pobiera opłaty za wykorzystanie rejestrowane w tabeli system.ai_gateway.usage. Zobacz ceny Unity Gateway.

Wbudowany panel użytkowania

Wbudowany panel użycia Unity Gateway zapewnia skonsolidowany widok użycia, wydatków, adopcji i wydajności w modelach, usługach MCP, agentach programistycznych i umiejętnościach.

Stwórz dashboard

Administratorzy kont mogą tworzyć panel z poziomu strony Unity Gateway:

  1. Kliknij Zarządzaj > Utwórz panel użycia.
  2. Wybierz Użytkowanie konta , aby analizować wykorzystanie w przestrzeniach roboczych, lub Użycie Przestrzeni Roboczej , aby ograniczyć analizę do bieżącej przestrzeni roboczej.
  3. Konfiguruj uprawnienia do danych:
    • Udostępnianie uprawnień do danych: Widzowie wykonują zapytania na dashboardzie korzystając z Twoich uprawnień.
    • Indywidualne uprawnienia do danych: Każdy użytkownik wykonuje zapytania na pulpicie zarządzającym przy użyciu własnych uprawnień do danych.
  4. Wybierz, czy włączyć Automatyczne aktualizacje i Zaplanowane odświeżanie danych.
  5. Kliknij Konfiguracja i publikowanie.

Domyślny magazyn SQL jest wybierany automatycznie. Tożsamość wykonująca zapytania pulpitu nawigacyjnego wymaga dostępu do bazowych tabel systemowych. Zobacz Udziel dostępu do tabel systemowych i Uprawnienia do danych pulpitu nawigacyjnego.

Opcje panelu aktualizacji ai-gateway

Note

W przestrzeniach roboczych bez rozwijanego menu Govern użyj samodzielnych przycisków Create Dashboard, View Dashboard oraz Update na stronie Unity Gateway.

Poznaj panel

Kliknij Govern > Usage Dashboard , aby otworzyć pulpit w nowej karcie.

dashboard użycia bramy AI

Tab Analysis
Overview Przeglądaj użytkowanie, tokeny, aktywnych użytkowników oraz sesje agentów kodowania. Porównaj modele i użytkowników według wydatków, trendów wydatków oraz wydatków na token lub żądanie.
Wydaj Analizuj wydatki według modelu i użytkownika, porównaj zużycie tokenów i buforowanie oraz przypisuj wydatki za pomocą tagów usług i żądań.
Agenci kodowania Porównaj korzystanie z agentów, wykorzystanie harnessów, sesje, zużycie tokenów i liczbę subagentów. Zbadaj poszczególne sesje uszeregowane według szacowanych wydatków.
MCPs Śledź wywołania narzędzi i aktywnych użytkowników, identyfikuj często używane usługi i narzędzia oraz porównaj źródła użycia.
Umiejętności Śledź pobieranie i wczytywanie umiejętności, porównaj korzystanie z umiejętności oraz przeglądaj aktywność według użytkownika.
Wydajność Porównaj opóźnienia modelu i MCP, czas przesyłania do pierwszego bajtu, liczbę tokenów wyjściowych na sekundę, wskaźniki trafień cache, błędy oraz wywołania objęte ograniczeniem liczby żądań.
README Przejrzyj możliwości dashboardu, ostatnie zmiany oraz linki do źródeł danych.

Wybierz zakres dat, aby skupić analizę, lub wybierz klucz tagu usługi oraz jeden lub więcej wpisów wartości tagu usługi, aby zawęzić wykorzystanie i wydatki do konkretnych zespołów lub projektów. Pulpity w zakresie konta zawierają także filtr Identyfikator obszaru roboczego. Filtry tagów usługi nie mają zastosowania do zakładki Umiejętności.

Zaktualizuj pulpit

Gdy dostępna jest nowsza wersja dashboardu, administrator konta może kliknąć Aktualizuj w wierszu wersji dashboardu w rozwijanym menu Govern . Przy włączonych automatycznych aktualizacjach , nowszy szablon jest stosowany, gdy administrator konta odwiedza stronę Unity Gateway.

Aktualizacja zastępuje zawartość dashboardu najnowszym szablonem i może nadpisać personalizacje. Zapisz kopię przed aktualizacją, jeśli chcesz zachować zmiany.

Odśwież dane z panelu

Zaplanowane odświeżanie danych odświeża wyniki zapytań co sześć godzin.

Zarządzaj harmonogramem odświeżania w panelu. Zobacz Tworzenie harmonogramu.

Schemat tabeli użycia

Tabela system.ai_gateway.usage ma następujący schemat:

Nazwa kolumny Typ Opis Example
account_id STRING Identyfikator konta. 11d77e21-5e05-4196-af72-423257f74974
workspace_id STRING Identyfikator przestrzeni roboczej. 1653573648247579
request_id STRING Unikalny identyfikator żądania. b4a47a30-0e18-4ae3-9a7f-29bcb07e0f00
invocation_id STRING Unikatowy identyfikator dla każdego poszczególnego wywołania inferencji. Wiele wywołań może współdzielić ten sam request_id, na przykład sprawdzenia guardrail lub wieloturowe wywołania agenta. Użyj invocation_id, aby je rozróżnić. c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
schema_version INTEGER Wersja schematu rekordu użycia. 1
service_type STRING Typ usługi, która wygenerowała rekord użytkowania. Wartości to MODEL_SERVICE, MCP_SERVICE, oraz MODEL_PROVIDER_SERVICE. MODEL_SERVICE
service_id STRING ID usługi modelowej, usługi MCP lub usługi dostawcy modelu. 43addf89-d802-3ca2-bd54-fe4d2a60d58a
service_name STRING Katalog Unity w pełni określa nazwę usługi. main.default.github_tools
service_tags MAP Tagi zasobów stosowane do katalogu Unity są zabezpieczane w momencie tworzenia lub aktualizacji. Dotyczą wszystkich zapytań do usługi i są przydatne do kategoryzacji użytkowania według zespołu, centrum kosztów lub projektu. {"team": "engineering"}
endpoint_id STRING Unikalny identyfikator usługi modelu Unity Gateway. 43addf89-d802-3ca2-bd54-fe4d2a60d58a
endpoint_name STRING Nazwa modelu usługi Unity Gateway. system.ai.gpt-5-2
endpoint_tags MAP Tagi skonfigurowane w usłudze modelowej podczas jej tworzenia lub aktualizacji. Są one stosowane do wszystkich żądań do usługi modelu i są przydatne do kategoryzowania usług według zespołu, centrum kosztów lub projektu. {"team": "engineering"}
endpoint_metadata STRUCT Metadane usługi modelu obejmujące creator, creation_time, last_updated_time, destinations, inference_table i fallbacks. {"creator": "user.name@email.com", "creation_time": "2026-01-06T12:00:00.000Z", ...}
event_time TIMESTAMP Sygnatura czasowa odebrania żądania. 2026-01-20T19:48:08.000+00:00
latency_ms LONG Łączne opóźnienie w milisekundach. 300
time_to_first_byte_ms LONG Czas do pierwszego bajtu w milisekundach. 300
destination_type STRING Typ miejsca docelowego (na przykład model zewnętrzny lub model podstawowy). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING Nazwa modelu docelowego lub dostawcy. system.ai.gpt-5-2
destination_id STRING Unikatowy identyfikator miejsca docelowego. 507e7456151b3cc89e05ff48161efb87
destination_model STRING Określony model używany w ramach żądania. GPT-5.2
requester STRING Identyfikator użytkownika lub jednostki usługi, która złożyła żądanie. user.name@email.com
requester_type STRING Typ obiektu żądającego (użytkownik, jednostka usługi lub grupa użytkowników). USER
ip_address STRING Adres IP obiektu żądającego. 1.2.3.4
url STRING Adres URL żądania. https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions
user_agent STRING Agent użytkownika żądającego. OpenAI/Python 2.13.0
api_type STRING Typ wywołania interfejsu API (na przykład czat, ukończenie lub osadzanie). mlflow/v1/chat/completions
request_tags MAP Tagi dostarczone przez użytkownika wysyłane z poszczególnymi żądaniami przy użyciu nagłówka Databricks-Ai-Gateway-Request-Tags HTTP. Tagi żądań umożliwiają przypisywanie użycia określonych projektów, zespołów, środowisk lub użytkowników końcowych. Zobacz Tagowanie żądań do śledzenia użycia i Tagowanie żądań. {"project": "chatbot", "team": "ml-platform"}
invocation_metadata STRUCT Informacje o miejscu pochodzenia żądania, poziomie usług raportowanym przez dostawcę modelu oraz o tym, czy żądanie korzystało z subskrypcji Claude. {"source": "EXTERNAL_CLIENT", "service_tier": "priority", "relayed": false}
input_tokens LONG Liczba tokenów wejściowych. 100
output_tokens LONG Liczba tokenów wyjściowych. 100
total_tokens LONG Całkowita liczba tokenów (dane wejściowe i wyjściowe). 200
token_details STRUCT Szczegółowy podział użycia tokenów i narzędzi, w tym cache_read_input_tokens, cache_creation_input_tokens, output_reasoning_tokens, cache_creation_5m_input_tokens, cache_creation_1h_input_tokens, file_search_count, oraz .num_web_search_queries {"cache_read_input_tokens": 100, ...}
response_content_type STRING Typ zawartości odpowiedzi. application/json
status_code INT Kod statusu HTTP odpowiedzi. 200
routing_information STRUCT Szczegóły routingu dla prób powrotu . Zawiera tablicę z elementami attempts, priority, action, destination, destination_id, status_code, error_code, latency_ms, start_time i end_time dla każdego modelu wypróbowanego podczas żądania. {"attempts": [{"priority": "1", ...}]}
mcp_metadata STRUCT Szczegóły żądania do usługi MCP, w tym wywołane narzędzie, typ serwera oraz operacja JSON-RPC. Wypełnione rzędami MCP_SERVICE . {"tool_name": "echo", "server_type": "EXTERNAL", "json_rpc_method": "tools/call"}
session_metadata STRUCT Kontekst sesji i klienta, w tym identyfikatory sesji i subagentów, nazwa i wersja agenta kodującego, interfejs klienta, wysiłek rozumowania oraz schemat inteligentnego routingu. Używaj tych pól do grupowania powiązanych żądań i analizy wykorzystania według agenta lub sesji. {"coding_agent": "claude-code", "agent_version": "2.1.282", "reasoning_effort": "high", ...}
auth_mode STRING Typ uwierzytelniania Databricks używany do uwierzytelniania żądania: osobisty token dostępu (PAT) lub token OAuth (OAUTH). OAUTH

Schematy zagnieżdżonych kolumn

Poniższe tabele opisują pola w zagnieżdżonych STRUCT kolumnach. Dostępność w terenie zależy od usługi, modelu i klienta użytego do żądania.

Metadane wywołania i tokenu

Ścieżka pola Typ Opis
invocation_metadata.source STRING Aplikacja, usługa lub API, które zainicjowało żądanie. Użyj tego pola, aby przypisać użycie jego źródłu. Wartości obejmują AI_PLAYGROUND, EXTERNAL_CLIENT, AI_QUERY, GUARDRAIL, MANAGED_AGENT, ROUTER, WEB_SEARCH oraz SAFEGUARD_CLASSIFIER.
invocation_metadata.service_tier STRING Poziom usług zgłaszany przez dostawcy modelu w odpowiedzi wnioskowania, taki jak default lub priority. Użyj tego pola, aby porównać zużycie w różnych szczeblach cenowych dostawców.
invocation_metadata.relayed BOOLEAN Czy żądanie zostało przekazane do firmy Anthropic przy użyciu subskrypcji Claude należącej do wywołującego.
token_details.cache_read_input_tokens LONG Liczba tokenów odczytanych z pamięci podręcznej promptów.
token_details.cache_creation_input_tokens LONG Liczba tokenów zapisanych w pamięci podręcznej promptu.
token_details.output_reasoning_tokens LONG Liczba tokenów rozumowania na wyjściu.
token_details.cache_creation_5m_input_tokens LONG Liczba tokenów wejściowych zapisanych do prompt cache z czasem życia 5 minut.
token_details.cache_creation_1h_input_tokens LONG Liczba tokenów wejściowych zapisanych w pamięci podręcznej promptu o czasie życia 1 godziny.
token_details.file_search_count LONG Liczba wywołań narzędzi do wyszukiwania plików wykonanych w ramach żądania.
token_details.num_web_search_queries LONG Liczba rozliczalnych zapytań wyszukiwania w sieci Web wykonanych w ramach żądania.

Metadane usługi MCP

Te pola są wypełniane w mcp_metadata dla wierszy MCP_SERVICE.

Ścieżka pola Typ Opis
mcp_metadata.tool_name STRING Nazwa narzędzia wywołanego przez żądanie MCP tools/call . Użyj tego pola do analizy użycia poszczególnych narzędzi na serwerze.
mcp_metadata.server_type STRING Kategoria serwera MCP obsługującego żądanie, taka jak EXTERNAL lub SYSTEM.
mcp_metadata.json_rpc_method STRING Operacja JSON-RPC żądana przez klienta, taka jak tools/call wywołanie narzędzia, tools/list odkrycie narzędzi lub initialize rozpoczęcie sesji.

Metadane sesji

Pola pomagają session_metadata korelować żądania w trakcie sesji oraz rozróżniać agentów kodujących, interfejsy klienta i ustawienia żądań. Każde pole jest wypełniane, gdy odpowiadające informacje są dostępne od klienta lub żądania.

Ścieżka pola Typ Opis
session_metadata.client_session_id STRING ID sesji udostępnione przez klienta. Używaj go do grupowania próśb złożonych podczas tej samej rozmowy lub sesji agenta kodowego.
session_metadata.client_subagent_id STRING ID podagenta udostępniony przez klienta. Użyj go z client_session_id, aby odróżnić żądania pochodzące od podagentów w ramach sesji nadrzędnej.
session_metadata.coding_agent STRING Znormalizowana nazwa agenta kodującego, który wysłał żądanie, taka jak claude-code lub codex.
session_metadata.agent_version STRING Wersja zgłoszona przez agenta kodującego. Użyj go z coding_agent, aby porównać użycie między wersjami agenta.
session_metadata.surface STRING Interfejs kliencki, z którego agent kodujący wysyłał żądanie, taki jak interfejs wiersza poleceń, IDE lub aplikacja desktopowa.
session_metadata.reasoning_effort STRING Wysiłek rozumowania określony w żądaniu, taki jak low, medium, lub high. Dostępne wartości zależą od modelu i API.
session_metadata.smart_router_name STRING Nazwa przepisu inteligentnego routingu wybranego przez klienta. Użyj go do grupowania użycia według przepisu routingu.

Oznacz żądania do śledzenia użycia

Tagi żądań to niestandardowe pary klucz-wartość, które obiekt wywołujący dołącza do poszczególnych żądań. Użyj tagów żądań, aby przypisywać użycie według projektu, zespołu, środowiska, użytkownika końcowego lub dowolnego innego wymiaru istotnego dla organizacji. Tagi żądań są rejestrowane w system.ai_gateway.usage tabeli i mogą służyć do filtrowania, agregowania i analizowania danych użycia.

Aby oznaczyć poszczególne żądania, dołącz nagłówek HTTP Databricks-Ai-Gateway-Request-Tags zawierający obiekt JSON mapujący klucze tekstowe na wartości tekstowe. Tagi żądań są rejestrowane w request_tags kolumnie tabeli użycia oraz w tabelach inferencji.

Przykłady pokazujące, jak ustawić tagi żądań za pomocą REST API, OpenAI SDK i Anthropic SDK, znajdziesz w artykule Tagowanie żądań.

Na przykład można agregować użycie według projektu przy użyciu tagów żądań:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitations

  • Unity Gateway nie śledzi użycia tokenów w przypadku odpowiedzi innych niż strumieniowe i osadzania, większych niż 1 MiB.

Dodatkowe zasoby

  • Ostatnia aktualizacja o