Anfragen und Antworten in Inferenztabellen protokollieren

Diese Seite beschreibt, wie Inferenztabellen verwendet werden, um Unity Gateway-Modelldienste zu überwachen.

Hinweis

Inferenztabellen sind eine kostenpflichtige Funktion von Unity Gateway. Azure Databricks berechnet Gebühren für die Anfragen und Antworten, die von Inferenztabellen protokolliert werden. Siehe Unity Gateway Preise.

Was sind Unity Gateway-Inferenztabellen?

Unity Gateway Inferenztabellen protokollieren Anfragen und Antworten von Ihren Modelldiensten auf die Unity Catalog Delta-Tabellen. Sie können diese Daten zum Überwachen, Debuggen und Optimieren Ihrer Modelle verwenden.

Zu den gängigen Anwendungsfällen gehören:

  • Debuggen: Analysieren Sie Anforderungs- und Antwortnutzlasten, um Probleme zu beheben.
  • Überwachung: Nachverfolgen der Modellleistung und Identifizieren von Anomalien.
  • Optimierung: Überprüfen Sie Interaktionen, um Modellaufforderungen und -konfigurationen zu verbessern.
  • Compliance: Führen von Prüfprotokollen aller Modellinteraktionen.

Anforderungen

  • Ein Azure Databricks Workspace in einer von Unity Gateway unterstützten Region.

  • Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.

  • Die MANAGE Berechtigung für den Modelldienst. Sowohl der Ersteller als auch der Modifizierer des Modelldiensts müssen über diese Berechtigung verfügen.

  • Die CREATE TABLE-Berechtigung im angegebenen Katalog und Schema von Unity-Katalog.

  • Die USE CATALOG Berechtigung für den angegebenen Katalog.

  • Die USE SCHEMA Berechtigung für das angegebene Schema.

  • Der Katalog kann kein OpenSharing-Katalog für den aktuellen Metastore sein.

  • Databricks empfiehlt, eine predictive Optimierung für eine verbesserte Leistung zu ermöglichen.

Um einen Katalog zu nutzen, der den Standardspeicher verwendet, muss die Funktion Zerobus Ingest Default Storage für Ihren Arbeitsbereich aktiviert sein. Diese Funktion ist im Allgemeinen verfügbar und standardmäßig aktiviert. Für einige Arbeitsbereiche, einschließlich solcher mit aktiviertem Compliance-Sicherheitsprofil, muss ein Workspace-Administrator es auf der Seite Previews aktivieren. Siehe Vorschauen von Databricks verwalten.

Aktivieren von Rückschlusstabellen

Rückschlusstabellen können nur konfiguriert werden, nachdem Sie einen Modelldienst erstellt haben.

So aktivieren Sie Inferencetabellen:

  1. Klicken Sie in der Randleiste auf AI-Gateway.
  2. Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
  3. Klicken Sie auf Einrichten neben Inference-Tabellen.
  4. Geben Sie den Katalog und das Schema an, in dem Die Ableitungstabelle gespeichert werden soll.
  5. Klicke auf Speichern.

Der Besitzer der Rückschlusstabelle ist der Benutzer, der den Modelldienst erstellt hat. Alle ACLs folgen den Standardberechtigungen des Unity-Katalogs und können vom Tabellenbesitzer geändert werden.

Hinweis

Das Angeben einer vorhandenen Tabelle wird nicht unterstützt. Wenn Sie Inferenztabellen aktivieren, erstellt Azure Databricks automatisch eine neue für Sie, nachdem der Endpunkt seine erste Anfrage erhalten hat. Zeilen können bis zu einer Stunde in der Tabelle erscheinen, nachdem der Endpunkt seine erste Anfrage erhalten hat.

Warnung

Die Ableitungstabelle könnte die Protokollierung von Daten beenden oder beschädigt werden, wenn Sie eine der folgenden Aktionen ausführen:

  • Ändern Sie das Tabellenschema.
  • Ändern Sie den Tabellennamen.
  • Löschen Sie die Tabelle.

Deaktivieren von Rückschlusstabellen

So deaktivieren Sie Inferencetabellen:

  1. Klicken Sie in der Randleiste auf AI-Gateway.
  2. Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
  3. Klicken Sie auf das Bearbeitungssymbol neben Inferenz-Tabellen.
  4. Klicken Sie auf "Rückschlusstabellen deaktivieren".

Abfrage der Inferenztabelle

Sie können die Tabelle auf der Benutzeroberfläche anzeigen oder die Tabelle aus Databricks SQL oder einem Notizbuch abfragen.

Wenn Sie die Tabelle auf der Benutzeroberfläche anzeigen möchten, klicken Sie auf der Modelldienstseite auf den Link zur Ableitungstabelle, um die Tabelle im Katalog-Explorer zu öffnen.

So fragen Sie die Tabelle aus Databricks SQL oder einem Notizbuch ab:

SELECT * FROM <catalog>.<schema>.<payload_table>

Ersetzen Sie <catalog>, <schema> und <payload_table> mit Ihrem Tabellenstandort.

Inference-Tabellenschema

Unity-Gateway-Inferenztabellen haben folgendes Schema:

Spaltenname Typ Beschreibung Beispiel
request_id STRING Ein eindeutiger Bezeichner für die Anforderung. 7a99b43cb46c432bb0a7814217701909
invocation_id STRING Ein eindeutiger Bezeichner für jeden einzelnen Ableitungsaufruf. Mehrere Aufrufe können dasselbe request_id teilen, z. B. Guardrail-Prüfungen oder Multi-Turn-Agent-Aufrufe. Verwenden Sie invocation_id, um sie zu unterscheiden. c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
request_tags MAP Tags, die der Anforderung zugeordnet sind. {"team": "engineering"}
event_time TIMESTAMP Der Zeitstempel, zu dem die Anforderung empfangen wurde. 2024-05-17T13:47:13.282-07:00
status_code INT Der HTTP-Statuscode der Antwort. 200
sampling_fraction DOUBLE Der Samplinganteil, wenn Downsampling verwendet wurde. Ein Wert von 1 bedeutet kein Downsampling. 1
latency_ms LONG Die Gesamtlatenz in Millisekunden. 300
time_to_first_byte_ms LONG Die Zeit für das erste Byte in Millisekunden. 200
request STRING Die unformatierte JSON-Anforderungsnutzlast. {"messages": [...], ...}
response STRING Die unformatierte JSON-Antwort-Payload. {"choices": [...], ...}
destination_type STRING Der Zieltyp (z. B. externes Modell oder Foundation-Modell). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING Der Name des Zielmodells oder Anbieters. system.ai.gpt-5-2
destination_model STRING Das für die Anforderung verwendete spezifische Modell. GPT-5.2
logging_error_codes ARRAY Fehlercodes, wenn die Protokollierung fehlgeschlagen ist (z. B. MAX_REQUEST_SIZE_EXCEEDED). ["MAX_RESPONSE_SIZE_EXCEEDED"]
requester STRING Die ID des Benutzers oder Dienstprinzipals, der die Anforderung gestellt hat. databricks.engineer@databricks.com
schema_version STRING Die Schemaversion des Inferenztabellendatensatzes. 0

Limitations

  • Private Endpunkte werden nicht unterstützt: Inference-Tabellen können nicht im Speicher erstellt werden, der über einen privaten Endpunkt gesichert ist. Siehe Zerobus Erfassungsquoten.
  • Von Zerobus unterstützte Lieferung: Inferenztabellen liefern Logs über Zerobus und teilen dessen Latenz-, Mindest-einmal-Liefer- und Retentionsverhalten. Siehe Zerobus Erfassungsquoten.
  • Maximale Nutzlastgröße: Anforderungen und Antworten, die größer als 10 MiB sind, werden nicht protokolliert. Die logging_error_codes-Spalte gibt an, wann dies mit MAX_REQUEST_SIZE_EXCEEDED oder MAX_RESPONSE_SIZE_EXCEEDED erfolgt.
  • Fehlerantworten: Protokolle werden möglicherweise nicht für Anforderungen aufgefüllt, die Fehler 401, 403, 429 oder 500 zurückgeben.

Weitere Ressourcen