Erstellen und verwalten Sie Modell-APIs (Modelldienste)

Erstellen Sie, teilen und verwalten Sie Ihre eigenen Modell-APIs (Modelldienste) in Unity Catalog.

Requirements

• Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.
• Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
• Zum Erstellen eines Modelldiensts benötigen Sie Folgendes:
  • USE CATALOG, USE SCHEMAund CREATE SERVICE im Katalog und Schema, in dem Sie den Modelldienst erstellen.
  • EXECUTE auf jedem Modell, auf das der Modelldienst als Ziel verweist.
  • EXECUTE, USE CATALOG und USE SCHEMA für jeden Modellanbieterdienst, auf den der Modelldienst als Ziel verweist.
  • USE CATALOG, USE SCHEMA und CREATE TABLE für den Katalog und das Schema, in denen die Inferenztabelle erstellt wird, wenn Sie die Inferenzprotokollierung aktivieren.

Erstellen eines Modelldiensts

Sie können einen Modelldienst in der Unity AI Gateway UI oder im Catalog Explorer erstellen oder programmatisch mit der REST API, den Azure Databricks SDKs, der Azure Databricks CLI oder Terraform.

Modelldienste und Modellanbieterdienste teilen einen namespace mit einem einzigen Namen innerhalb eines Unity-Katalogschemas. Sie können keinen Namen für einen Modelldienst verwenden, wenn ein Modellanbieterdienst im Schema es bereits verwendet und umgekehrt.

Katalog-Explorer

1. Führen Sie einen der folgenden Schritte aus:
   • Klicken Sie in der Arbeitsbereichs-Randleiste auf "AI-Gateway", und klicken Sie dann auf "Erstellen".
   • Wechseln Sie im Katalog-Explorer zu dem Schema, in dem Sie den Modelldienst erstellen möchten, und klicken Sie dann auf Erstellen>Dienst>Modelldienst.
2. Geben Sie einen Namen für den Modelldienst ein, und wählen Sie den Katalog und das Schema aus, in dem er erstellt werden soll. Wenn Sie mit dem Katalog-Explorer beginnen, füllt der Katalog-Explorer den Katalog und das Schema vor.
3. Wählen Sie das Hauptziel aus, das Sie bedienen möchten. Dieses Ziel kann ein von Databricks gehostetes Modell sein, für das Sie EXECUTE haben und das von Unity AI Gateway bereitgestellt werden kann, oder ein Dienst eines Modellanbieters, für den Sie EXECUTE, USE CATALOG und USE SCHEMA haben.
4. Klicken Sie auf "Erstellen".

Nachdem Sie den Modelldienst erstellt haben, öffnet Azure Databricks die Übersichtsseite, auf der Sie beginnen oder zusätzliche Features wie die Ableitungsprotokollierung konfigurieren können.

Developer Tools

Databricks CLI: Übergib das übergeordnete Schema und einen Leaf-Name und gib die Konfiguration mit --json an. Die Routing-Konfiguration muss mindestens ein Ziel haben:

databricks ai-gateway create-model-service schemas/main.default my_model_service --json '{
  "comment": "Routes chat traffic to a foundation model",
  "config": {
    "routing": {
      "destinations": [
        {
          "name": "primary",
          "destination_type": "DESTINATION_TYPE_PAY_PER_TOKEN_FOUNDATION_MODEL",
          "pay_per_token_config": { "model": "models/system.ai.databricks-gpt-5" },
          "traffic_percentage": 100
        }
      ]
    }
  }
}'

Führen Sie databricks ai-gateway create-model-service -h für alle Optionen aus. Um die CLI zu installieren, siehe Installieren oder aktualisieren Sie die Databricks-CLI.

REST API: Verwenden Sie POST /api/2.1/unity-catalog/model-services.

Terraform: Erstellen und verwalten Sie einen Modelldienst mit dem Databricks Terraform-Anbieter und databricks_ai_gateway_model_service.

Databricks SDKs: Erstellen und verwalten Sie Modellservices mit dem Databricks SDK für Python, dem Databricks SDK für Java, dem Databricks SDK für Go oder dem Databricks SDK für JavaScript.

Gewähren des Zugriffs auf einen Modelldienst

Um anderen Benutzern das Abfragen eines Modelldienstes zu ermöglichen, erteilen Sie ihnen EXECUTE für den Modelldienst sowie USE CATALOG und USE SCHEMA für dessen Katalog und Schema. Wenn der Modelldienst in eine Inferenztabelle protokolliert, gewähren Sie SELECT-Berechtigungen für die Tabelle, damit die protokollierten Anfragen und Antworten gelesen werden können.

So gewähren Sie den Zugriff im Katalog-Explorer:

1. Öffnen Sie im Katalog-Explorer den Modelldienst.
2. Klicken Sie auf der Registerkarte Berechtigungen auf Erteilen.
3. Wählen Sie die Benutzer oder Gruppen aus, auf die Sie Zugriff gewähren möchten, wählen Sie die EXECUTE Berechtigungen aus, und klicken Sie auf "Gewähren".

Stellen Sie sicher, dass dieselben Prinzipale auch über die Berechtigungen USE CATALOG und USE SCHEMA für den Katalog und das Schema des Modelldienstes verfügen. Um ihnen das Lesen protokollierter Anfragen und Antworten zu ermöglichen, erteilen Sie SELECT auf der Inferenz-Tabelle über deren Registerkarte Berechtigungen.

Weitere Informationen zum Gewähren von und Erkennen von Zugriff finden Sie unter Verwalten von Modelldiensten.

Konfigurieren von Features in einem Modelldienst

Sie konfigurieren Funktionen wie Ratenbegrenzungen, Inferenzprotokollierung und Schutzmechanismen für den Modelldienst in der Unity AI Gateway-Benutzeroberfläche genauso wie an einem Unity AI Gateway-Endpunkt. Siehe:

• Ratenbegrenzungen auf Modell- und MCP-Dienste anwenden
• Anfragen und Antworten in Inferenztabellen protokollieren

Inferenzprotokollierung

Wenn Sie die Ableitungsprotokollierung aktivieren, erstellt Azure Databricks eine neue, leere Unity-Katalogtabelle mit einem vordefinierten Schema an dem von Ihnen angegebenen Speicherort. Beachten Sie Folgendes:

• Sie müssen über USE CATALOG, USE SCHEMA und CREATE TABLE für den Zielkatalog und das Zielschema verfügen.
• Der Ersteller des Modelldiensts ist der Besitzer der Rückschlusstabelle. Keine anderen Benutzer haben Zugriff, es sei denn, Sie gewähren sie.
• Wenn an dem angegebenen Speicherort bereits eine Tabelle vorhanden ist, schlägt das Erstellen des Modelldiensts fehl.
• Die Ableitungstabelle verfügt über einen unabhängigen Lebenszyklus vom Modelldienst. Wenn Sie die Tabelle ablegen, funktioniert der Modelldienst weiterhin, aber die Protokollierung wird beendet.

Weitere Informationen zu Inferenztabellen finden Sie unter Log-Anfragen und Antworten auf Inferenztabellen.

Löschen eines Modelldiensts

Um einen Modelldienst zu löschen, müssen Sie mindestens über die MANAGE Berechtigung verfügen. Der Besitzer hat eine Obermenge von MANAGE.

Um einen Modelldienst zu löschen, öffnen Sie ihn im Katalog-Explorer und wählen Sie im Kebab-Menü „Löschen“ aus.

Die in system.ai vom System bereitgestellten Modelldienste können nicht gelöscht werden.

Nächste Schritte

• Modelldienste
• Abfragemodelldienste
• Entdecken und Steuern des Zugriffs auf Modelldienste
• Integration mit Programmieragenten