Governance für Endpunkte zur Modellbereitstellung (veraltet)

Von Bedeutung

Eine neue Unity-Gateway-Erfahrung ist allgemein verfügbar. Es ist die Enterprise-Kontrollebene zur Verwaltung von LLM-Endpunkten und Codierungsagenten mit erweiterten Funktionen. Siehe KI-Governance mit Unity Gateway.

Diese Seite beschreibt das AI Gateway (Legacy) zur Bereitstellung von Endpunkten, das den Zugriff auf unterstützte KI-Modelle und deren zugehörige modellbereitstellende Endpunkte steuert und überwacht.

Was ist AI Gateway (Legacy) für Serving-Endpunkte?

AI Gateway (Legacy) ist darauf ausgelegt, die Nutzung und Verwaltung von KI-Modellen und Agenten innerhalb einer Organisation zu optimieren. Es handelt sich um einen zentralisierten Dienst, der Modellbereitstellungsendpunkten Governance, Überwachung und Produktionsbereitschaft bereitstellt. Es bietet Ihnen auch die Möglichkeit, den KI-Datenverkehr auszuführen, zu sichern und zu kontrollieren, um die Adaption von KI in Ihrer Organisation zu demokratisieren und zu beschleunigen.

Alle Daten werden in Delta-Tabellen in Unity Catalog protokolliert.

Laden Sie das example AI Gateway-Dashboard aus GitHub herunter, um Einblicke aus Ihren KI-Gatewaydaten zu visualisieren. Dieses Dashboard nutzt die Daten aus den Ableitungstabellen der Nutzungsverfolgung und der Payload-Protokollierung.

Nachdem Sie die JSON-Datei heruntergeladen haben, importieren Sie das Dashboard in Ihren Arbeitsbereich. Anweisungen zum Importieren von Dashboards finden Sie unter Importieren einer Dashboarddatei.

Unterstützte Features

Von Bedeutung

Das neue Unity Gateway bietet eine umfangreiche Benutzeroberfläche, verbesserte Observabilität und eine erweiterte API-Abdeckung für LLMs, einschließlich externer Modelle und Pay-per-Token-Foundation-Model-APIs. Wir empfehlen, Unity Gateway zu nutzen, um diese neuen Funktionen freizuschalten.

Die folgende Tabelle definiert die verfügbaren AI-Gateway-Funktionen (Legacy) und welche Modell-Bereitstellen-Endpunkttypen diese unterstützen.

Merkmal Definition Endpunkt des externen Modells Foundation-Modell-APIs für Pay-per-Token-Endpunkt Durch Basismodell-APIs bereitgestellter Durchsatz-Endpunkt Databricks-Agents Benutzerdefinierter Modellendpunkt
Verfügbar in Unity Gateway Nutzen Sie erweiterte Unity Gateway-Funktionen. Siehe KI-Governance mit Unity Gateway. Unterstützt Unterstützt Nicht unterstützt Nicht unterstützt Nicht unterstützt
Berechtigungs- und Ratenbegrenzung Kontrollieren Sie, wer Zugriff hat und in welchem Umfang. Unterstützt Unterstützt Unterstützt Nicht unterstützt Unterstützt
Nutzdatenprotokollierung Überwachen und Prüfen von Daten, die an Modell-APIs gesendet werden, mithilfe von -Inferenztabellen. Unterstützt Unterstützt Unterstützt Unterstützt Unterstützt
Nutzungsnachverfolgung Überwachen Sie die betriebliche Nutzung von Endpunkten und damit verbundenen Kosten mithilfe Systemtabellen. Unterstützt Unterstützt Unterstützt Nicht unterstützt Unterstützt
KI-Schutzmaßnahmen Verhindern Sie unerwünschte und unsichere Daten in Anforderungen und Antworten. Weitere Informationen finden Sie unter KI-Schutzmaßnahmen. Unterstützt Unterstützt Unterstützt Nicht unterstützt Nicht unterstützt
Fallbacks Minimieren Sie Produktionsausfälle während und nach der Bereitstellung. Unterstützt Nicht unterstützt Nicht unterstützt Nicht unterstützt Nicht unterstützt
Trennung von Datenverkehr Lastenausgleich für Datenverkehr über Modelle hinweg. Unterstützt Nicht unterstützt Unterstützt Nicht unterstützt Unterstützt

AI Gateway (Legacy) verursacht Gebühren auf Basis aktivierter Funktionen. Kostenpflichtige Funktionen umfassen Inferenztabellen und Nutzungsverfolgung. Features wie Abfrageberechtigungen, Rate Limitierung, Fallbacks und Traffic-Aufteilung sind kostenlos. Alle neuen Funktionen sind kostenpflichtig.

AI-Leitplanken

Von Bedeutung

Dieses Feature befindet sich in der Public Preview.

AI Guardrails bieten Benutzern die Möglichkeit, die Daten-Compliance auf der Ebene des Modells, das die Endpunkte bedient, zu konfigurieren und durchzusetzen und schädliche Inhalte bei allen Anfragen an das zugrunde liegende Modell zu reduzieren. Unzulässige Anfragen und Antworten werden blockiert und der Benutzer erhält eine Standardnachricht. Weitere Informationen finden Sie unter Konfigurieren von KI-Schutzmaßnahmen für einen Modellbereitstellungsendpunkt.

Von Bedeutung

Der Moderationsdienst von AI Guardrails ist abhängig von den "Pay-per-Token"-Modellen der Foundation Model APIs. Diese Abhängigkeit beschränkt die Verfügbarkeit des AI Guardrails Moderationsdiensts auf Regionen, die Foundation Model APIs pay-per-token unterstützen.

In der folgenden Tabelle sind die konfigurierbaren Schutzmaßnahmen zusammengefasst. Informationen finden Sie unter Einschränkungen.

Guardrail Definition
Sicherheitsfilterung Die Sicherheitsfilterung verhindert, dass Ihr Modell mit unsicheren und schädlichen Inhalten wie Gewaltverbrechen, Selbstverletzung und Hassreden interagiert.
Der Sicherheitsfilter von AI Gateway wurde mit Meta Llama 3 erstellt. Databricks verwendet Llama Guard 2-8b als Sicherheitsfilter. Um mehr über den Llama Guard Sicherheitsfilter zu erfahren und welche Themen für den Sicherheitsfilter gelten, lesen Sie die Meta Llama Guard 2 8B Modellkarte.
Meta Llama 3 ist lizenziert unter der LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alle Rechte vorbehalten. Kunden sind dafür verantwortlich, die Einhaltung anwendbarer Modelllizenzen sicherzustellen.
Erkennung personenbezogener Informationen (Personally Identifiable Information, PII) Kunden können vertrauliche Informationen wie Kreditkartennummern von Benutzern erkennen.
Für diese Funktion verwendet AI Gateway Presidio, um die folgenden PII-Kategorien in den USA zu erkennen: Kreditkartennummern, E-Mail-Adressen, Telefonnummern, Bankkontonummern und Sozialversicherungsnummern.
Der Klassifizierer für PII kann helfen, vertrauliche Informationen oder PII in strukturierten und unstrukturierten Daten zu erkennen. Da er jedoch automatische Erkennungsmechanismen verwendet, gibt es keine Garantie, dass der Dienst alle vertraulichen Informationen findet. Daher sollten zusätzliche Systeme und Schutzmaßnahmen eingesetzt werden.
Diese Klassifizierungsmethoden sind in erster Linie auf US-Kategorien von PII, wie z. B. US-Telefonnummern und Sozialversicherungsnummern, beschränkt.

AI Gateway (legacy) verwenden

Sie können AI-Gateway-Funktionen (Legacy) auf Ihren Model Serving Endpunkten mit der Serving UI konfigurieren. Siehe Konfiguration von Governance auf Endpunkten für die Modellbereitstellung (veraltet).

Einschränkungen

Im Folgenden sind die Einschränkungen für Endpunkte mit aktiviertem KI-Gateway (Legacy) aufgeführt:

  • Wenn AI Guardrails verwendet werden, darf die Batch-Größe von Anfragen, d.h. die Batch-Größe von Einbettungen, Vervollständigungen oder der n-Parameter von Chat-Anfragen, 16 nicht überschreiten.
  • Wenn Sie Funktionsaufrufe verwenden und AI Guardrails angeben, werden diese Guardrails nicht auf die Anfragen und Zwischenantworten der Funktion angewendet. Schutzmaßnahmen werden jedoch auf die endgültige Ausgabeantwort angewendet.
  • Text-zu-Image-Workloads werden nicht unterstützt.
  • Für Batch-Inferenz-Workloads auf Pay-per-Token-Endpunkten mit aktivierten AI-Gateway-Funktionen (legacy) wird nur Nutzungsverfolgung unterstützt. In der endpoint_usage Systemtabelle sind nur die Zeilen, die der Batch-Ableitungsanforderung entsprechen, sichtbar.
  • KI-Schutzläufe und Fallbacks werden für benutzerdefinierte Modellbereitstellungsendpunkte nicht unterstützt.
  • Bei benutzerdefinierten Modellendpunkten unterstützen nur Workloads, die nicht routenoptimiert sind, die Ratenbegrenzung und Nutzungsnachverfolgung.
  • Ableitungstabellen für routenoptimierte Modelle, die Endpunkte bedienen, befinden sich in der öffentlichen Vorschau.
  • Siehe Einschränkungen für Inferenztabellen, die durch AI Gateway (Legacy) ermöglicht werden, für Details zu Einschränkungen der Inferenztabellen.
  • Zuletzt aktualisiert um