Frågegrund- och inbäddningsmodeller

Databricks erbjuder flera sätt att fråga grundmodeller. Välj ett gränssnitt baserat på om du behöver ett leverantörsoberoende API, leverantörsspecifika funktioner eller batchinferens.

Sätt att fråga en modell

Quickstart

Fråga en modelltjänst i två steg:

Steg 1: Välj en modell

Azure Databricks tillhandahåller modeller direkt ur lådan, såsom claude-sonnet-4-5 eller gpt-5-6-sol. Azure Databricks-levererade modeller är registrerade i Unity Catalog under system.ai.

Steg 2: Skicka en förfrågan med det enhetliga OpenAI-kompatibla API:et

Använd MLflow Chat Completions API med OpenAI Python SDK:

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,  # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"  # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Requirements

• En Azure Databricks workspace i en region som stöds av Unity Gateway.
• Unity Catalog har aktiverats för din arbetsyta. Se Aktivera en arbetsyta för Unity Catalog.
• Workspace-behörighet för frågor: Workspace-åtkomst eller konsumentåtkomst. Se Hantera rättigheter.

Fråga efter modelltjänster med enhetliga API:er

Enhetliga API:er erbjuder ett OpenAI-kompatibelt gränssnitt för att fråga efter modeller i Azure Databricks. Använd enhetliga API:er för att sömlöst växla mellan modeller från olika leverantörer utan att ändra din kod.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

response = client.responses.create(
  model="<model-service>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": [
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/responses

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.gpt-5-6-sol",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "system.ai.gpt-5-6-sol",
    "max_tokens": 256,
    "messages": [
      {"role": "user", "content": "Hello!"},
      {"role": "assistant", "content": "Hello! How can I assist you today?"},
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

embeddings = client.embeddings.create(
  input="What is Databricks?",
  model="<model-service>"
)

print(embeddings.data[0].embedding)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": "What is Databricks?"
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/embeddings

Fråga efter modelltjänster med ai_query

Du kan använda ai_query funktionen för att fråga modelltjänster direkt från SQL eller Python. På så sätt kan du samla in information om användningsspårning för batchinferensarbetsbelastningar.

För att fråga en modelltjänst med ai_query, kör ai_query mot en modelltjänst:

SELECT ai_query(
  'system.ai.claude-sonnet-4-5',
  'Summarize the following text: ' || text_column
) AS summary
FROM my_table
LIMIT 10

Tabellen för användningsspårningssystemet (system.ai_gateway.usage) fångar förfrågningar som skickas vidare ai_query till modelleringstjänster. Dessa begäranden visas också i den inbyggda instrumentpanelen för användning.

Fullständig ai_query syntax och parameterreferens finns i ai_query funktion. För bästa praxis och modeller som stöds, se Använd ai_query.

Limitations

• ai_querystöd för Unity Gateway är endast tillgängligt för modeller som tillhandahålls av Azure Databricks. Ange system.ai namnet på modelltjänsten (till exempel system.ai.claude-sonnet-4-5 eller system.ai.gpt-5-6-sol). Modelltjänster som du skapar i Unity Gateway stöds ännu inte.
• Endast användningsspårning gäller för ai_query batchinferensarbetsbelastningar. Andra Unity Gateway-funktioner såsom hastighetsbegränsningar, räcken implementerade med tjänstepolicyer, inferenstabeller och reservlösningar gäller inte.

Sök modelltjänster med inbyggda API:er

Inbyggda API:er erbjuder leverantörsspecifika gränssnitt för att fråga modeller på Azure Databricks. Använd interna API:er för att få åtkomst till de senaste providerspecifika funktionerna.

Varje internt API fungerar endast med modelltjänster vars underliggande modell använder det matchande API-formatet:

• Använd OpenAI Responses-API:et för att fråga efter modelltjänster som backas upp av OpenAI-modeller (GPT).
• Använd Anthropic Messages API för att anropa modelltjänster som bygger på Claude-modeller.
• Använd Google Gemini API för att fråga efter modelltjänster som backas upp av Gemini-modeller.

Om du vill köra frågor mot en modelltjänst oavsett dess underliggande modell använder du de enhetliga API:erna i stället.

Nästa steg

• Identifiera och styra åtkomsten till modelltjänster
• Integrera med kodningsagenter