Basis- und Einbettungsmodelle abfragen

Databricks bietet mehrere Möglichkeiten, Foundation-Modelle abzufragen. Wählen Sie eine Schnittstelle basierend darauf, ob Sie eine anbieterunabhängige API, anbieterspezifische Funktionen oder Batch-Inferenz benötigen.

Möglichkeiten, ein Modell abzufragen

Quickstart

Abfrage eines Modelldienstes in zwei Schritten:

Schritt 1: Wählen Sie ein Modell aus

Azure Databricks stellt Modelle direkt zur Verfügung, wie zum Beispiel claude-sonnet-4-5 oder gpt-5-6-sol. Azure Databricks bereitgestellte Modelle sind im Unity Catalog unter system.airegistriert.

Schritt 2: Senden Sie eine Anfrage über die einheitliche, OpenAI-kompatible API

Verwenden Sie die MLflow Chat Completions API mit dem OpenAI Python SDK:

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,  # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"  # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Requirements

• Ein Azure Databricks Workspace in einer von Unity Gateway unterstützten Region.
• Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
• Arbeitsbereichsberechtigung zur Abfrage: Arbeitsbereichszugriff oder Consumer-Zugriff mit aktiviertem Consumer-Zugang zur Unity Gateway-Vorschau für Ihr Konto (öffentliche Vorschau). Siehe Berechtigungen verwalten und Azure Databricks-Vorschauen verwalten.

Abfragemodelldienste mit einheitlichen APIs

Einheitliche APIs bieten eine openAI-kompatible Schnittstelle für Abfragemodelle auf Azure Databricks. Verwenden Sie einheitliche APIs, um nahtlos zwischen Modellen von verschiedenen Anbietern zu wechseln, ohne Ihren Code zu ändern.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

response = client.responses.create(
  model="<model-service>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": [
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/responses

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.gpt-5-6-sol",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "system.ai.gpt-5-6-sol",
    "max_tokens": 256,
    "messages": [
      {"role": "user", "content": "Hello!"},
      {"role": "assistant", "content": "Hello! How can I assist you today?"},
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

embeddings = client.embeddings.create(
  input="What is Databricks?",
  model="<model-service>"
)

print(embeddings.data[0].embedding)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": "What is Databricks?"
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/embeddings

Abfragemodelldienste mit ai_query

Du kannst die ai_query Funktion verwenden, um Modellservices direkt aus SQL oder Python abzufragen. Dadurch können Sie Informationen zur Nutzungsverfolgung für Ihre Batch-Inferenz-Workloads erfassen.

Um einen Modelldienst mit ai_query abzufragen, führen Sie ai_query für einen Modelldienst aus:

SELECT ai_query(
  'system.ai.claude-sonnet-4-5',
  'Summarize the following text: ' || text_column
) AS summary
FROM my_table
LIMIT 10

Die Systemtabelle zur Nutzungsverfolgung (system.ai_gateway.usage) erfasst Anfragen, die über ai_query an Modelldienste gestellt werden. Diese Anforderungen werden auch im integrierten Verwendungsdashboard angezeigt.

Vollständige ai_query Syntax- und Parameterreferenz finden Sie unter ai_query Funktion. Bewährte Methoden und unterstützte Modelle finden Sie unter "Verwenden" ai_query.

Limitations

• ai_queryUnterstützung für Unity Gateway ist nur für von Azure Databricks bereitgestellte Modelle verfügbar. Geben Sie den system.ai Modell-Servicenamen an (zum Beispiel system.ai.claude-sonnet-4-5 oder system.ai.gpt-5-6-sol). Modelldienste, die du in Unity Gateway erstellst, werden noch nicht unterstützt.
• Nur Nutzungsverfolgung gilt für ai_query Batch-Inferenz-Workloads. Andere Funktionen des Unity Gateway wie Ratenbegrenzungen, mit Dienstrichtlinien implementierte Leitplanken, Inferenztabellen und Rückfallpläne gelten nicht.

Abfragemodelldienste mit nativen APIs

Native APIs bieten anbieterspezifische Schnittstellen, um Modelle auf Azure Databricks abzufragen. Verwenden Sie systemeigene APIs, um auf die neuesten anbieterspezifischen Features zuzugreifen.

Jede systemeigene API funktioniert nur mit Modelldiensten, deren zugrunde liegendes Modell das entsprechende API-Format verwendet:

• Verwenden Sie die OpenAI-Antwort-API , um Modelldienste abzufragen, die von OpenAI(GPT)-Modellen unterstützt werden.
• Verwenden Sie die Anthropic Messages API, um Dienste abzufragen, die auf Claude-Modellen basieren.
• Verwenden Sie die Google Gemini-API , um Modelldienste abzufragen, die von Gemini-Modellen unterstützt werden.

Um einen Modelldienst unabhängig vom zugrunde liegenden Modell abzufragen, verwenden Sie stattdessen die einheitlichen APIs .

Nächste Schritte

• Entdecken und Steuern des Zugriffs auf Modelldienste
• Integration mit Programmieragenten