Modellanbieter außerhalb von Databricks

Bringen Sie Modellkapazitäten von externen Anbietern wie OpenAI, Anthropic oder Amazon Bedrock über einen Modellanbieter-Service im Unity-Katalog zu Azure Databricks. Ein Modell-Provider-Dienst bietet einen Kontrollpunkt für verschlüsselte Zugangsdaten, Zugriff, Nutzung und Kosten. Registrieren Sie jeden Anbieter einmal, und viele Benutzer und Modelldienste können dorthin routen, ohne die Zugangsdaten zu verarbeiten.

Auf Azure Databricks ist ein externer Modellanbieter ein Unity Catalog securable Object (ein Modellanbieter-Service), der die Verbindungsdetails und verschlüsselten Zugangsdaten eines Anbieters speichert. Da Unity Catalog Anbieter speichert, steuerst du den Zugriff mit denselben Privilegien wie für Daten, fragst externe Modelle über Unity Gateway ab, ohne Geheimnisse offenzulegen, und verfolgst Nutzung und Kosten von einer einzigen Governance-Schicht.

Was ist ein Modellanbieterdienst?

Ein Modellanbieterdienst befindet sich in einem Katalog und Schema in Unity Catalog und verwendet einen dreiteiligen Namen, z. B. main.default.openai_prod. Sie enthält Folgendes:

  • Der Anbietertyp (z. B. OpenAI oder Amazon Bedrock).
  • Die Verbindungskonfiguration für diesen Anbieter, z. B. eine Endpunktbasis-URL oder eine Cloudregion.
  • Die Anmeldedaten des Anbieters, die von Azure Databricks verschlüsselt und gespeichert werden. Azure Databricks gibt beim Lesen keine Anmeldeinformationen zurück. Für Azure OpenAI und Microsoft Foundry können Sie eine bestehende Service-Zugangsberechtigung anhand des Namens referenzieren, anstatt einen Schlüssel oder ein Geheimnis zu speichern, und die Zugangsdaten bleiben dort, wo sie ist. Weitere Informationen finden Sie unter Authentifizieren von Azure OpenAI oder Microsoft Foundry mit Dienstanmeldeinformationen.

Da ein Dienst eines Modellanbieters ein in Unity Catalog schützbares Objekt ist, verwalten Sie ihn genauso wie andere gesteuerte Objekte:

  • Gewähren und widerrufen Sie den Zugriff mit Unity-Katalogberechtigungen.
  • Entdecken Sie sie im Katalog-Explorer zusammen mit Ihren anderen Daten- und KI-Ressourcen.
  • Konfigurieren Sie Unity Gateway-Funktionen wie Ratenbegrenzungen und Inferenztabellen darauf.

Anrufer fragen einen Modell-Provider-Dienst direkt über Unity Gateway an, indem sie auf dessen Namen verweisen, und sehen die gespeicherten Zugangsdaten nicht. Ein Modellanbieterdienst kann auch den externen Anbieter bereitstellen, an den ein Modelldienst weitergeleitet wird, sodass Admins einen einzelnen, geregelten Drosselpunkt für Anbieteranmeldeinformationen erhalten.

Unterstützte Anbieter

Ein Modell-Provider-Dienst unterstützt nur die folgenden externen Anbieter und Authentifizierungsmethoden.

Provider Authentication
OpenAI API-Schlüssel
Azure OpenAI API-Schlüssel, Microsoft Entra ID-Dienstprinzipal (Mandanten-ID, Client-ID und Client-Geheimnis) oder Anmeldeinformationen für den Dienst
Anthropic API-Schlüssel
Amazon Bedrock (bedrock-runtime) AWS-Zugriffstastenpaar (Zugriffstasten-ID und geheimer Zugriffsschlüssel)
Amazon Bedrock Mantle (bedrock-mantle) AWS-Zugriffstastenpaar (Zugriffstasten-ID und geheimer Zugriffsschlüssel)
Microsoft Foundry API-Schlüssel, Microsoft Entra ID-Dienstprinzipal (Mandanten-ID, Client-ID und Client-Geheimnis) oder Anmeldeinformationen für den Dienst
Google Gemini Enterprise Service-Kontoschlüssel (JSON), mit GCP-Projekt-ID und Region
Custom Trägertoken oder ein API-Schlüssel, der in einem von dir benannten HTTP-Header mit einer Endpunkt-Basis-URL gesendet wird

Der Amazon Bedrock-Anbieter verbindet sich mit dem AWS-bedrock-runtimeEndpunkt. Amazon Bedrock Mantle ist ein separater Anbieter für bedrock-mantle. Die beiden Endpunkte haben unterschiedliche API-Unterstützung und können unterschiedliche Modell-IDs verwenden.

Wenn der Endpunkt eines benutzerdefinierten Anbieters seinen API-Schlüssel in einem bestimmten Header und nicht als Inhabertoken erwartet, kann man diesen Header benennen. Siehe Einen benutzerdefinierten Anbieter-API-Schlüssel in einem Header senden.

Anstatt eine Provider-Zugangsdaten inline zu speichern, können Sie sie mit einem kundeneigenen Unity-Catalog-Geheimnis absichern, sodass der Wert im Unity-Katalog verwaltet bleibt und die Rotation in Kraft tritt, ohne dass sich das Modellanbieter-Dienst ändert. Weitere Informationen finden Sie unter „Anmeldeinformationen eines Anbieters mit einem Geheimnis in Unity Catalog absichern“.

Warum steuern Sie externe Anbieter im Unity-Katalog?

Ohne eine zentrale Registrierung bettet jedes Team, das ein externes Modell verwendet, seine eigenen Anbieteranmeldeinformationen in Anwendungscode oder Notizbücher ein. Modellanbieterdienste verschieben diese Konfiguration in den Unity-Katalog, damit Sie:

  • Definieren Sie einen Anbieter einmal. Registrieren Sie Anmeldeinformationen und Verbindungsdetails an einer zentralen Stelle, damit viele Benutzer und Modelldienste sie gemeinsam nutzen können, ohne das Geheimnis jemals selbst handhaben zu müssen.
  • Steuern des Zugriffs mit Unity-Katalogberechtigungen. Verwenden Sie dieselben GRANT und REVOKE Anweisungen, die Sie für andere sicherbare Objekte verwenden, um zu steuern, wer die einzelnen Anbieter abfragen darf.
  • Arbeitsbereiche übergreifend abfragen. Der Dienst eines Modellanbieters ist in jedem Arbeitsbereich verfügbar, der denselben Metastore nutzt.
  • Verfolgen Sie die Nutzung und die Kosten. Unity Gateway zeichnet die Nutzung von Abfragen auf, die über einen Modellanbieterdienst geleitet werden. Siehe Modellnutzung nachverfolgen. Azure Databricks berechnet auch geschätzte Ausgaben für Anforderungen, die an externe Modelle weitergeleitet werden. Siehe externe Modelle.
  • Verfolgen der Herkunft. Sehen Sie sich die Modelldienste an, die zu einem Anbieter geleitet werden, und die nachgelagerten Vermögenswerte, die seine Nutzlasten verbrauchen. Siehe Track-Modell-Service und Anbieterabstammung.

Berechtigungen

Die folgenden Unity-Katalogberechtigungen gelten für Modellanbieterdienste. Ein Prinzipal benötigt auch die USE CATALOG und USE SCHEMA für den übergeordneten Katalog und das übergeordnete Schema.

Recht Gewährt die Möglichkeit für Folgendes
CREATE SERVICE (im Schema) Erstellen Sie einen Modellanbieterdienst im Schema.
EXECUTE Abfrage des Modellanbieterdienstes über Unity Gateway.
READ METADATA Zeigen Sie den Modellanbieterdienst und seine Konfiguration an, ohne ihn abfragen zu müssen.
MANAGE Bearbeiten, Löschen und Gewähren des Zugriffs auf den Modellanbieterdienst.

Informationen dazu, wie Sie diese Berechtigungen gewähren und widerrufen, finden Sie unter Externen Modellanbietern (Dienste von Modellanbietern) Zugriff erteilen und verwalten.

Verfolgen Sie die Ausgaben für Model-Provider-Dienste in Budgets

Um die geschätzten Ausgaben des Modellanbieters in ein Unity-Gateway-Budget einzubeziehen, wählen Sie bei der Erstellung des Budgets " Externe Modellnutzung einbeziehen ". Die Ausgaben für externe Modelle werden dann auf die Warn- und Sperrschwellen für die Nutzung des Budgets angerechnet.

Externe Ausgabenschätzungen des Modells spiegeln jeden Preismultiplikator wider, der auf dem Modellanbieter-Dienst konfiguriert ist.

Weitere Informationen zu geschätzten externen Modellausgaben finden Sie unter Externe Modelle.

Nächste Schritte

  • Zuletzt aktualisiert um