Erste Schritte beim Abfragen von LLMs in Databricks

Important

Dieses Feature befindet sich in der Betaversion. Kontoadministratoren können den Zugriff auf dieses Feature über die Seite " Vorschau" der Kontokonsole steuern. Siehe Manage Azure Databricks Previews.

Abfrage von LLMs auf Azure Databricks mit Model Services in Unity AI Gateway.

Am einfachsten können Sie loslegen, indem Sie einen vom System bereitgestellten Modelldienst abfragen.system.ai Vom System bereitgestellte Modelldienste sind standardmäßig für alle Kontobenutzer verfügbar, sodass Sie mit dem Senden von Anforderungen ohne zusätzliche Einrichtung beginnen können. Siehe Govern model APIs (Model Services).

Sie können diese Modelle auch mit dem AI Playground testen und chatten. Siehe Mit LLMs chatten und KI-Apps mit AI Playground prototypisieren.

Requirements

Important

Als bewährte Sicherheitsmethode für Produktionsszenarien empfiehlt Databricks, Computer-zu-Computer-OAuth-Token für die Authentifizierung während der Produktion zu verwenden.

Für die Test- und Entwicklungsphase empfiehlt Databricks die Verwendung eines persönlichen Zugriffstokens, das Dienstprinzipalen anstelle von Arbeitsbereichsbenutzern gehört. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter Verwalten von Token für einen Dienstprinzipal.

Erste Schritte mit Modelldiensten

Das folgende Beispiel soll in einem Azure Databricks-Notebook ausgeführt werden. Das Codebeispiel fragt den systembereitgestellten Modelldienst system.ai.claude-sonnet-4-5ab, der nativ von Azure Databricks bereitgestellt wird. Für andere verfügbare Modelle siehe Modellservices.

In diesem Beispiel verwenden Sie den OpenAI-Client, um das Modell abzufragen, indem Sie das model Feld mit dem vollqualifizierten Namen des Modelldiensts auffüllen, den Sie abfragen möchten. Verwenden Sie Ihr persönliches Zugriffstoken, um DATABRICKS_TOKEN und die Databricks-Arbeitsbereichsinstanz zu befüllen, um den OpenAI-Client mit Databricks zu verbinden.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Wenn die folgende Meldung auftritt ImportError: cannot import name 'OpenAI' from 'openai' aktualisieren Sie Ihre openai-Version mithilfe von !pip install -U openai. Führen Sie nach der Installation des Pakets dbutils.library.restartPython() aus.

Erwartete Ausgabe:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Nächste Schritte

  • Last updated on