Anfragen und Antworten in Inferenztabellen protokollieren

Auf dieser Seite wird beschrieben, wie Sie Schlussfolgerungstabellen zum Überwachen von Unity AI Gateway-Modelldiensten verwenden.

Hinweis

Inferenztabellen sind eine abgerechnete Funktion des Unity AI Gateway. Azure Databricks berechnet Gebühren für die Anfragen und Antworten, die von Inferenztabellen protokolliert werden. Siehe Unity AI Gateway Preisgestaltung.

Was sind Unity AI Gateway-Ableitungstabellen?

Unity AI Gateway-Inferenz-Tabellen protokollieren Anfragen und Antworten aus Ihren Modelldiensten in Unity Catalog-Delta-Tabellen. Sie können diese Daten zum Überwachen, Debuggen und Optimieren Ihrer Modelle verwenden.

Zu den gängigen Anwendungsfällen gehören:

  • Debuggen: Analysieren Sie Anforderungs- und Antwortnutzlasten, um Probleme zu beheben.
  • Überwachung: Nachverfolgen der Modellleistung und Identifizieren von Anomalien.
  • Optimierung: Überprüfen Sie Interaktionen, um Modellaufforderungen und -konfigurationen zu verbessern.
  • Compliance: Führen von Prüfprotokollen aller Modellinteraktionen.

Anforderungen

  • Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.

  • Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.

  • Die MANAGE Berechtigung für den Modelldienst. Sowohl der Ersteller als auch der Modifizierer des Modelldiensts müssen über diese Berechtigung verfügen.

  • Das Privileg CREATE TABLE im spezifizierten Unity-Katalogkatalog und Schema (der Katalog muss ein externer Speicherkatalog sein; siehe Einschränkungen).

  • Die USE CATALOG Berechtigung für den angegebenen Katalog.

  • Die USE SCHEMA Berechtigung für das angegebene Schema.

  • Der Katalog kann kein OpenSharing-Katalog für den aktuellen Metastore sein.

  • Databricks empfiehlt, eine predictive Optimierung für eine verbesserte Leistung zu ermöglichen.

Aktivieren von Rückschlusstabellen

Rückschlusstabellen können nur konfiguriert werden, nachdem Sie einen Modelldienst erstellt haben.

So aktivieren Sie Inferencetabellen:

  1. Klicken Sie in der Randleiste auf AI-Gateway.
  2. Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
  3. Klicken Sie auf Einrichten neben Inference-Tabellen.
  4. Geben Sie den Katalog und das Schema an, in dem Die Ableitungstabelle gespeichert werden soll.
  5. Klicke auf Speichern.

Der Besitzer der Rückschlusstabelle ist der Benutzer, der den Modelldienst erstellt hat. Alle ACLs folgen den Standardberechtigungen des Unity-Katalogs und können vom Tabellenbesitzer geändert werden.

Hinweis

Das Angeben einer vorhandenen Tabelle wird nicht unterstützt. Wenn Sie Inferenztabellen aktivieren, erstellt Azure Databricks automatisch eine neue für Sie, nachdem der Endpunkt seine erste Anfrage erhalten hat. Zeilen können bis zu einer Stunde in der Tabelle erscheinen, nachdem der Endpunkt seine erste Anfrage erhalten hat.

Warnung

Die Ableitungstabelle könnte die Protokollierung von Daten beenden oder beschädigt werden, wenn Sie eine der folgenden Aktionen ausführen:

  • Ändern Sie das Tabellenschema.
  • Ändern Sie den Tabellennamen.
  • Löschen Sie die Tabelle.

Deaktivieren von Rückschlusstabellen

So deaktivieren Sie Inferencetabellen:

  1. Klicken Sie in der Randleiste auf AI-Gateway.
  2. Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
  3. Klicken Sie auf das Bearbeitungssymbol neben Inferenz-Tabellen.
  4. Klicken Sie auf "Rückschlusstabellen deaktivieren".

Abfrage der Inferenztabelle

Sie können die Tabelle auf der Benutzeroberfläche anzeigen oder die Tabelle aus Databricks SQL oder einem Notizbuch abfragen.

Wenn Sie die Tabelle auf der Benutzeroberfläche anzeigen möchten, klicken Sie auf der Modelldienstseite auf den Link zur Ableitungstabelle, um die Tabelle im Katalog-Explorer zu öffnen.

So fragen Sie die Tabelle aus Databricks SQL oder einem Notizbuch ab:

SELECT * FROM <catalog>.<schema>.<payload_table>

Ersetzen Sie <catalog>, <schema> und <payload_table> mit Ihrem Tabellenstandort.

Inference-Tabellenschema

Unity AI Gateway-Ableitungstabellen weisen das folgende Schema auf:

Spaltenname Typ Beschreibung Beispiel
request_id STRING Ein eindeutiger Bezeichner für die Anforderung. 7a99b43cb46c432bb0a7814217701909
invocation_id STRING Ein eindeutiger Bezeichner für jeden einzelnen Ableitungsaufruf. Mehrere Aufrufe können dasselbe request_id teilen, z. B. Guardrail-Prüfungen oder Multi-Turn-Agent-Aufrufe. Verwenden Sie invocation_id, um sie zu unterscheiden. c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
request_tags MAP Tags, die der Anforderung zugeordnet sind. {"team": "engineering"}
event_time TIMESTAMP Der Zeitstempel, zu dem die Anforderung empfangen wurde. 2024-05-17T13:47:13.282-07:00
status_code INT Der HTTP-Statuscode der Antwort. 200
sampling_fraction DOUBLE Der Samplinganteil, wenn Downsampling verwendet wurde. Ein Wert von 1 bedeutet kein Downsampling. 1
latency_ms LONG Die Gesamtlatenz in Millisekunden. 300
time_to_first_byte_ms LONG Die Zeit für das erste Byte in Millisekunden. 200
request STRING Die unformatierte JSON-Anforderungsnutzlast. {"messages": [...], ...}
response STRING Die unformatierte JSON-Antwort-Payload. {"choices": [...], ...}
destination_type STRING Der Zieltyp (z. B. externes Modell oder Foundation-Modell). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING Der Name des Zielmodells oder Anbieters. system.ai.gpt-5-2
destination_model STRING Das für die Anforderung verwendete spezifische Modell. GPT-5.2
logging_error_codes ARRAY Fehlercodes, wenn die Protokollierung fehlgeschlagen ist (z. B. MAX_REQUEST_SIZE_EXCEEDED). ["MAX_RESPONSE_SIZE_EXCEEDED"]
requester STRING Die ID des Benutzers oder Dienstprinzipals, der die Anforderung gestellt hat. databricks.engineer@databricks.com
schema_version STRING Die Schemaversion des Inferenztabellendatensatzes. 0

Limitations

  • Nur externe Speicherkataloge: Inference-Tabellen können nur in externen Speicherkatalogen erstellt werden. Standardspeicherkataloge werden derzeit nicht unterstützt.
  • Private Endpunkte werden nicht unterstützt: Inference-Tabellen können nicht im Speicher erstellt werden, der über einen privaten Endpunkt gesichert ist. Siehe Zerobus Erfassungsquoten.
  • Bestmögliche Zustellung: Protokolle sind in der Regel innerhalb von Minuten nach einer Anforderung verfügbar, aber die Übermittlung ist nicht garantiert.
  • Maximale Nutzlastgröße: Anforderungen und Antworten, die größer als 10 MiB sind, werden nicht protokolliert. Die logging_error_codes-Spalte gibt an, wann dies mit MAX_REQUEST_SIZE_EXCEEDED oder MAX_RESPONSE_SIZE_EXCEEDED erfolgt.
  • Fehlerantworten: Protokolle werden möglicherweise nicht für Anforderungen aufgefüllt, die Fehler 401, 403, 429 oder 500 zurückgeben.

Weitere Ressourcen

  • Last updated on