Externe Modellanbieter steuern (Modellanbieterdienste)

Externe Modellanbieter erlauben es dir, deinen eigenen Schlüssel (BYOK) mitzubringen: Verbinde die bereits genutzten LLM-Anbieter, wie OpenAI, Anthropic oder Amazon Bedrock, und steuere sie über einen Kontrollpunkt. Registrieren Sie jeden Anbieter einmal, und viele Benutzer und Modell-APIs routen dorthin, ohne jemals die Zugangsdaten zu verarbeiten.

Auf Azure Databricks ist ein externer Modellanbieter ein Unity Catalog securable Object (ein Modellanbieter-Service), der die Verbindungsdetails und verschlüsselten Zugangsdaten eines Anbieters speichert. Da Unity Catalog Provider speichert, steuerst du den Zugriff mit denselben Privilegien wie für Daten, fragst externe Modelle über Unity AI Gateway ab, ohne Geheimnisse preiszugeben, und verfolgst Nutzung und Kosten auf einer einzigen Governance-Schicht.

Was ist ein Modellanbieterdienst?

Ein Modellanbieterdienst befindet sich in einem Katalog und Schema in Unity Catalog und verwendet einen dreiteiligen Namen, z. B. main.default.openai_prod. Sie enthält Folgendes:

• Der Anbietertyp (z. B. OpenAI oder Amazon Bedrock).
• Die Verbindungskonfiguration für diesen Anbieter, z. B. eine Endpunktbasis-URL oder eine Cloudregion.
• Die Anmeldedaten des Anbieters, die von Azure Databricks verschlüsselt und gespeichert werden. Azure Databricks gibt beim Lesen keine Anmeldeinformationen zurück. Für Azure OpenAI und Microsoft Foundry können Sie eine bestehende Service-Zugangsberechtigung anhand des Namens referenzieren, anstatt einen Schlüssel oder ein Geheimnis zu speichern, und die Zugangsdaten bleiben dort, wo sie ist. Weitere Informationen finden Sie unter Authentifizieren von Azure OpenAI oder Microsoft Foundry mit Dienstanmeldeinformationen.

Da ein Dienst eines Modellanbieters ein in Unity Catalog schützbares Objekt ist, verwalten Sie ihn genauso wie andere gesteuerte Objekte:

• Gewähren und widerrufen Sie den Zugriff mit Unity-Katalogberechtigungen.
• Entdecken Sie sie im Katalog-Explorer zusammen mit Ihren anderen Daten- und KI-Ressourcen.
• Konfigurieren Sie Unity AI Gateway-Features wie Ratelimits und Rückschlusstabellen darauf.

Aufrufer fragen einen Modellanbieterdienst direkt über Unity AI Gateway unter Angabe seines Namens an, ohne dass ihnen die gespeicherten Anmeldeinformationen angezeigt werden. Ein Modellanbieterdienst kann auch den externen Anbieter bereitstellen, an den ein Modelldienst weitergeleitet wird, sodass Admins einen einzelnen, geregelten Drosselpunkt für Anbieteranmeldeinformationen erhalten.

Unterstützte Anbieter

Ein Modell-Provider-Dienst unterstützt nur die folgenden externen Anbieter und Authentifizierungsmethoden.

Wenn der Endpunkt eines benutzerdefinierten Anbieters seinen API-Schlüssel in einem bestimmten Header und nicht als Inhabertoken erwartet, kann man diesen Header benennen. Siehe Einen benutzerdefinierten Anbieter-API-Schlüssel in einem Header senden.

Warum steuern Sie externe Anbieter im Unity-Katalog?

Ohne eine zentrale Registrierung bettet jedes Team, das ein externes Modell verwendet, seine eigenen Anbieteranmeldeinformationen in Anwendungscode oder Notizbücher ein. Modellanbieterdienste verschieben diese Konfiguration in den Unity-Katalog, damit Sie:

• Definieren Sie einen Anbieter einmal. Registrieren Sie Anmeldeinformationen und Verbindungsdetails an einer zentralen Stelle, damit viele Benutzer und Modelldienste sie gemeinsam nutzen können, ohne das Geheimnis jemals selbst handhaben zu müssen.
• Steuern des Zugriffs mit Unity-Katalogberechtigungen. Verwenden Sie dieselben GRANT und REVOKE Anweisungen, die Sie für andere sicherbare Objekte verwenden, um zu steuern, wer die einzelnen Anbieter abfragen darf.
• Arbeitsbereiche übergreifend abfragen. Der Dienst eines Modellanbieters ist in jedem Arbeitsbereich verfügbar, der denselben Metastore nutzt.
• Verfolgen Sie die Nutzung und die Kosten. Unity AI Gateway erfasst die Nutzung von Abfragen, die über einen Dienst eines Modellanbieters geleitet werden. Siehe Modellnutzung nachverfolgen. Azure Databricks berechnet auch geschätzte Ausgaben für Anforderungen, die an externe Modelle weitergeleitet werden. Siehe externe Modelle.
• Verfolgen der Herkunft. Sehen Sie sich die Modelldienste an, die zu einem Anbieter geleitet werden, und die nachgelagerten Vermögenswerte, die seine Nutzlasten verbrauchen. Siehe Nachverfolgen von Modell-API und Anbieterherkunft.

Berechtigungen

Die folgenden Unity-Katalogberechtigungen gelten für Modellanbieterdienste. Ein Prinzipal benötigt auch die USE CATALOG und USE SCHEMA für den übergeordneten Katalog und das übergeordnete Schema.

Informationen dazu, wie Sie diese Berechtigungen gewähren und widerrufen, finden Sie unter Externen Modellanbietern (Dienste von Modellanbietern) Zugriff erteilen und verwalten.

Verfolgen Sie die Ausgaben für Model-Provider-Dienste in Budgets

Um die geschätzten Ausgaben des Modellanbieters in ein Unity AI Gateway-Budget einzubeziehen, wählen Sie bei der Erstellung des Budgets "Externe Modellnutzung einbeziehen ". Die Ausgaben für externe Modelle werden dann auf die Warn- und Sperrschwellen für die Nutzung des Budgets angerechnet.

Weitere Informationen zu geschätzten externen Modellausgaben finden Sie unter Externe Modelle.

Nächste Schritte

• Erstellen und verwalten Sie externe Modellanbieter (Modellanbieterdienste)
• Abfrage externer Modellanbieter (Modellanbieterdienste)
• Entdecken und steuern Sie den Zugang zu externen Modellanbietern (Modellanbieterdienste)
• Verwendung von Streckenmodellen
• Analysieren Sie die Kosten des Unity AI Gateway
• Modell-API und Anbieterabstammung verfolgen