Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese Seite beschreibt, wie Inferenztabellen verwendet werden, um Unity Gateway-Modelldienste zu überwachen.
Hinweis
Inferenztabellen sind eine kostenpflichtige Funktion von Unity Gateway. Azure Databricks berechnet Gebühren für die Anfragen und Antworten, die von Inferenztabellen protokolliert werden. Siehe Unity Gateway Preise.
Was sind Unity Gateway-Inferenztabellen?
Unity Gateway Inferenztabellen protokollieren Anfragen und Antworten von Ihren Modelldiensten auf die Unity Catalog Delta-Tabellen. Sie können diese Daten zum Überwachen, Debuggen und Optimieren Ihrer Modelle verwenden.
Zu den gängigen Anwendungsfällen gehören:
- Debuggen: Analysieren Sie Anforderungs- und Antwortnutzlasten, um Probleme zu beheben.
- Überwachung: Nachverfolgen der Modellleistung und Identifizieren von Anomalien.
- Optimierung: Überprüfen Sie Interaktionen, um Modellaufforderungen und -konfigurationen zu verbessern.
- Compliance: Führen von Prüfprotokollen aller Modellinteraktionen.
Anforderungen
Ein Azure Databricks Workspace in einer von Unity Gateway unterstützten Region.
Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
Die
MANAGEBerechtigung für den Modelldienst. Sowohl der Ersteller als auch der Modifizierer des Modelldiensts müssen über diese Berechtigung verfügen.Die
CREATE TABLE-Berechtigung im angegebenen Katalog und Schema von Unity-Katalog.Die
USE CATALOGBerechtigung für den angegebenen Katalog.Die
USE SCHEMABerechtigung für das angegebene Schema.Der Katalog kann kein OpenSharing-Katalog für den aktuellen Metastore sein.
Databricks empfiehlt, eine predictive Optimierung für eine verbesserte Leistung zu ermöglichen.
Um einen Katalog zu nutzen, der den Standardspeicher verwendet, muss die Funktion Zerobus Ingest Default Storage für Ihren Arbeitsbereich aktiviert sein. Diese Funktion ist im Allgemeinen verfügbar und standardmäßig aktiviert. Für einige Arbeitsbereiche, einschließlich solcher mit aktiviertem Compliance-Sicherheitsprofil, muss ein Workspace-Administrator es auf der Seite Previews aktivieren. Siehe Vorschauen von Databricks verwalten.
Aktivieren von Rückschlusstabellen
Rückschlusstabellen können nur konfiguriert werden, nachdem Sie einen Modelldienst erstellt haben.
So aktivieren Sie Inferencetabellen:
- Klicken Sie in der Randleiste auf AI-Gateway.
- Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
- Klicken Sie auf Einrichten neben Inference-Tabellen.
- Geben Sie den Katalog und das Schema an, in dem Die Ableitungstabelle gespeichert werden soll.
- Klicke auf Speichern.
Der Besitzer der Rückschlusstabelle ist der Benutzer, der den Modelldienst erstellt hat. Alle ACLs folgen den Standardberechtigungen des Unity-Katalogs und können vom Tabellenbesitzer geändert werden.
Hinweis
Das Angeben einer vorhandenen Tabelle wird nicht unterstützt. Wenn Sie Inferenztabellen aktivieren, erstellt Azure Databricks automatisch eine neue für Sie, nachdem der Endpunkt seine erste Anfrage erhalten hat. Zeilen können bis zu einer Stunde in der Tabelle erscheinen, nachdem der Endpunkt seine erste Anfrage erhalten hat.
Warnung
Die Ableitungstabelle könnte die Protokollierung von Daten beenden oder beschädigt werden, wenn Sie eine der folgenden Aktionen ausführen:
- Ändern Sie das Tabellenschema.
- Ändern Sie den Tabellennamen.
- Löschen Sie die Tabelle.
Deaktivieren von Rückschlusstabellen
So deaktivieren Sie Inferencetabellen:
- Klicken Sie in der Randleiste auf AI-Gateway.
- Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
- Klicken Sie auf das Bearbeitungssymbol neben Inferenz-Tabellen.
- Klicken Sie auf "Rückschlusstabellen deaktivieren".
Abfrage der Inferenztabelle
Sie können die Tabelle auf der Benutzeroberfläche anzeigen oder die Tabelle aus Databricks SQL oder einem Notizbuch abfragen.
Wenn Sie die Tabelle auf der Benutzeroberfläche anzeigen möchten, klicken Sie auf der Modelldienstseite auf den Link zur Ableitungstabelle, um die Tabelle im Katalog-Explorer zu öffnen.
So fragen Sie die Tabelle aus Databricks SQL oder einem Notizbuch ab:
SELECT * FROM <catalog>.<schema>.<payload_table>
Ersetzen Sie <catalog>, <schema> und <payload_table> mit Ihrem Tabellenstandort.
Inference-Tabellenschema
Unity-Gateway-Inferenztabellen haben folgendes Schema:
| Spaltenname | Typ | Beschreibung | Beispiel |
|---|---|---|---|
request_id |
STRING | Ein eindeutiger Bezeichner für die Anforderung. | 7a99b43cb46c432bb0a7814217701909 |
invocation_id |
STRING | Ein eindeutiger Bezeichner für jeden einzelnen Ableitungsaufruf. Mehrere Aufrufe können dasselbe request_id teilen, z. B. Guardrail-Prüfungen oder Multi-Turn-Agent-Aufrufe. Verwenden Sie invocation_id, um sie zu unterscheiden. |
c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60 |
request_tags |
MAP | Tags, die der Anforderung zugeordnet sind. | {"team": "engineering"} |
event_time |
TIMESTAMP | Der Zeitstempel, zu dem die Anforderung empfangen wurde. | 2024-05-17T13:47:13.282-07:00 |
status_code |
INT | Der HTTP-Statuscode der Antwort. | 200 |
sampling_fraction |
DOUBLE | Der Samplinganteil, wenn Downsampling verwendet wurde. Ein Wert von 1 bedeutet kein Downsampling. | 1 |
latency_ms |
LONG | Die Gesamtlatenz in Millisekunden. | 300 |
time_to_first_byte_ms |
LONG | Die Zeit für das erste Byte in Millisekunden. | 200 |
request |
STRING | Die unformatierte JSON-Anforderungsnutzlast. | {"messages": [...], ...} |
response |
STRING | Die unformatierte JSON-Antwort-Payload. | {"choices": [...], ...} |
destination_type |
STRING | Der Zieltyp (z. B. externes Modell oder Foundation-Modell). | PAY_PER_TOKEN_FOUNDATION_MODEL |
destination_name |
STRING | Der Name des Zielmodells oder Anbieters. | system.ai.gpt-5-2 |
destination_model |
STRING | Das für die Anforderung verwendete spezifische Modell. | GPT-5.2 |
logging_error_codes |
ARRAY | Fehlercodes, wenn die Protokollierung fehlgeschlagen ist (z. B. MAX_REQUEST_SIZE_EXCEEDED). |
["MAX_RESPONSE_SIZE_EXCEEDED"] |
requester |
STRING | Die ID des Benutzers oder Dienstprinzipals, der die Anforderung gestellt hat. | databricks.engineer@databricks.com |
schema_version |
STRING | Die Schemaversion des Inferenztabellendatensatzes. | 0 |
Limitations
- Private Endpunkte werden nicht unterstützt: Inference-Tabellen können nicht im Speicher erstellt werden, der über einen privaten Endpunkt gesichert ist. Siehe Zerobus Erfassungsquoten.
- Von Zerobus unterstützte Lieferung: Inferenztabellen liefern Logs über Zerobus und teilen dessen Latenz-, Mindest-einmal-Liefer- und Retentionsverhalten. Siehe Zerobus Erfassungsquoten.
-
Maximale Nutzlastgröße: Anforderungen und Antworten, die größer als 10 MiB sind, werden nicht protokolliert. Die
logging_error_codes-Spalte gibt an, wann dies mitMAX_REQUEST_SIZE_EXCEEDEDoderMAX_RESPONSE_SIZE_EXCEEDEDerfolgt. - Fehlerantworten: Protokolle werden möglicherweise nicht für Anforderungen aufgefüllt, die Fehler 401, 403, 429 oder 500 zurückgeben.