Wyszukaj modele bazowe i modele osadzania

Databricks oferuje kilka sposobów zapytań dotyczących modeli fundamentów. Wybierz interfejs w zależności od tego, czy potrzebujesz niezależnego od dostawcy API, funkcji specyficznych dla dostawcy lub wnioskowania wsadowego.

Sposoby zapytań modelu

Szybki start

Wykonaj zapytanie do usługi modelu w dwóch krokach:

Krok 1: Wybierz model

Azure Databricks oferuje modele od razu, takie jak claude-sonnet-4-5 lub gpt-5-6-sol. Modele dostarczane przez Azure Databricks są zarejestrowane w Unity Catalog pod system.ai.

Krok 2: Wyślij żądanie za pomocą zunifikowanego API kompatybilnego z OpenAI

Użyj MLflow Chat Completions API z OpenAI Python SDK:

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,  # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"  # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Requirements

• Obszar roboczy usługi Azure Databricks w regionie obsługiwanym przez Unity Gateway.
• Katalog Unity włączony dla obszaru roboczego. Zobacz Umożliwienie obszaru roboczego dla Unity Catalog.
• Uprawnienia przestrzeni roboczej do sprawdzenia: dostęp do przestrzeni roboczej lub dostęp konsumencki. Zobacz Zarządzanie uprawnieniami.

Wykonywanie zapytań dotyczących usług modelu za pomocą ujednoliconych interfejsów API

Ujednolicone interfejsy API oferują interfejs zgodny z interfejsem OpenAI do wykonywania zapytań dotyczących modeli w usłudze Azure Databricks. Ujednolicone interfejsy API umożliwiają bezproblemowe przełączanie modeli od różnych dostawców bez konieczności zmieniania kodu.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

response = client.responses.create(
  model="<model-service>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": [
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/responses

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.gpt-5-6-sol",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "system.ai.gpt-5-6-sol",
    "max_tokens": 256,
    "messages": [
      {"role": "user", "content": "Hello!"},
      {"role": "assistant", "content": "Hello! How can I assist you today?"},
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

embeddings = client.embeddings.create(
  input="What is Databricks?",
  model="<model-service>"
)

print(embeddings.data[0].embedding)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": "What is Databricks?"
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/embeddings

Wykonywanie zapytań dotyczących usług modelu za pomocą polecenia ai_query

Możesz użyć tej ai_query funkcji do zapytań o usługi modelu bezpośrednio z SQL lub Python. Dzięki temu można przechwytywać informacje dotyczące śledzenia użycia dla obciążeń wnioskowania wsadowego.

Aby wysłać zapytanie do usługi modelu za pomocą ai_query, uruchom ai_query względem usługi modelu:

SELECT ai_query(
  'system.ai.claude-sonnet-4-5',
  'Summarize the following text: ' || text_column
) AS summary
FROM my_table
LIMIT 10

Tabela systemu śledzenia wykorzystania (system.ai_gateway.usage) rejestruje żądania przesyłane do ai_query usług modelowych. Te żądania pojawiają się również w wbudowanym panelu użycia.

Aby uzyskać pełną ai_query składnię i informacje o parametrach, zobacz ai_query funkcję. Aby poznać najlepsze praktyki i obsługiwane modele, zobacz Korzystanie z ai_query.

Ograniczenia

• ai_querywsparcie dla Unity Gateway jest dostępne tylko dla modeli dostarczonych przez Azure Databricks. Przekaż nazwę usługi modelu system.ai (na przykład system.ai.claude-sonnet-4-5 lub system.ai.gpt-5-6-sol). Usługi modelowe, które tworzysz w Unity Gateway, nie są jeszcze wspierane.
• Tylko śledzenie użycia dotyczy ai_query obciążeń wnioskowania wsadowego. Inne funkcje Unity Gateway, takie jak limity szybkości, bariery zabezpieczające implementowane w politykach usług, tabele wnioskowania i zabezpieczenia zapasowe, nie mają zastosowania.

Wysyłaj zapytania do usług modeli za pomocą natywnych interfejsów API

Natywne API oferują interfejsy specyficzne dla dostawcy do zapytań o modele na Azure Databricks. Użyj natywnych interfejsów API, aby uzyskać dostęp do najnowszych funkcji specyficznych dla dostawcy.

Każdy natywny interfejs API działa tylko z usługami modelu, których bazowy model używa zgodnego formatu interfejsu API:

• Użyj interfejsu OpenAI Responses API, aby wysyłać zapytania do usług modeli opartych na modelach OpenAI (GPT).
• Użyj interfejsu API Anthropic Messages do wykonywania zapytań dotyczących usług modelu wspieranych przez modele Claude'a.
• Użyj interfejsu API Google Gemini do wykonywania zapytań dotyczących usług modelu wspieranych przez modele Gemini.

Aby wysłać zapytanie do usługi modelu niezależnie od jej podstawowego modelu, zamiast tego użyj ujednoliconych interfejsów API .

Następne kroki

• Przepustowość wnioskowania przy skalowaniu modelu
• Odkrywanie i zarządzanie dostępem do usług modelowych
• Integracja z agentami kodowania