Consultar modelos de base y de incrustación

Databricks ofrece varias formas de consultar modelos de fundación. Elige una interfaz según si necesitas una API independiente del proveedor, funciones específicas del proveedor o inferencia por lotes.

Formas de consultar un modelo

Quickstart

Consulta un servicio modelo en dos pasos:

Paso 1: Elige un modelo

Azure Databricks proporciona modelos de fábrica, como claude-sonnet-4-5 o gpt-5-6-sol. Los modelos proporcionados por Azure Databricks están registrados en el Catálogo de Unity bajo system.ai.

Paso 2: Envía una solicitud usando la API unificada compatible con OpenAI

Utiliza la API de MLflow Chat Completions con el SDK de Python de OpenAI:

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,  # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"  # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Requirements

• Un espacio de trabajo de Azure Databricks en una región soportada por Unity Gateway.
• Unity Catalog habilitado para su área de trabajo. Consulte Habilitar un área de trabajo para Unity Catalog.
• Derecho del área de trabajo para consultar: acceso al área de trabajo o acceso de consumidor. Consulte Administración de derechos.

Consulta de servicios de modelo con API unificadas

Las API unificadas ofrecen una interfaz compatible con OpenAI para consultar modelos en Azure Databricks. Use API unificadas para cambiar sin problemas entre modelos de diferentes proveedores sin cambiar el código.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

response = client.responses.create(
  model="<model-service>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": [
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/responses

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.gpt-5-6-sol",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "system.ai.gpt-5-6-sol",
    "max_tokens": 256,
    "messages": [
      {"role": "user", "content": "Hello!"},
      {"role": "assistant", "content": "Hello! How can I assist you today?"},
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

embeddings = client.embeddings.create(
  input="What is Databricks?",
  model="<model-service>"
)

print(embeddings.data[0].embedding)

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model-service>",
    "input": "What is Databricks?"
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/embeddings

Consultar los servicios del modelo con ai_query

Puedes usar la ai_query función para consultar servicios de modelos directamente desde SQL o Python. Esto le permite capturar información de seguimiento del uso para las cargas de trabajo de inferencia por lotes.

Para consultar un servicio modelo con ai_query, ejecuta ai_query contra un servicio modelo:

SELECT ai_query(
  'system.ai.claude-sonnet-4-5',
  'Summarize the following text: ' || text_column
) AS summary
FROM my_table
LIMIT 10

La tabla del sistema de seguimiento del uso (system.ai_gateway.usage) captura las solicitudes realizadas a través de ai_query a los servicios de modelos. Estas solicitudes también aparecen en el panel de uso integrado.

Para obtener una sintaxis completa ai_query y una referencia de parámetros, consulte ai_query function. Para conocer los procedimientos recomendados y los modelos admitidos, consulte Uso de ai_query.

Limitaciones

• ai_queryel soporte para Unity Gateway solo está disponible para modelos proporcionados por Azure Databricks. Pasa el nombre del system.ai servicio modelo (por ejemplo, system.ai.claude-sonnet-4-5 o system.ai.gpt-5-6-sol). Los servicios modelo que creas en Unity Gateway aún no están soportados.
• Solo el seguimiento del uso se aplica a ai_query las cargas de trabajo de inferencia por lotes. Otras características de Unity Gateway, como los límites de velocidad, las salvaguardas implementadas con políticas de servicio, las tablas de inferencia y los mecanismos de reserva, no se aplican.

Consulta de servicios de modelo con APIs nativas

Las APIs nativas ofrecen interfaces específicas para el proveedor para consultar modelos en Azure Databricks. Use las API nativas para acceder a las características específicas del proveedor más recientes.

Cada API nativa solo funciona con servicios de modelo cuyo modelo subyacente usa el formato de API coincidente:

• Use la API de respuestas de OpenAI para consultar los servicios de modelo respaldados por modelos openAI (GPT).
• Utiliza la API de mensajes de Anthropic para consultar los servicios del modelo basados en los modelos de Claude.
• Usa la Google Gemini API para consultar servicios de modelos basados en modelos Gemini.

Para consultar un servicio de modelo independientemente de su modelo subyacente, use las API unificadas en su lugar.

Pasos siguientes

• Detección y control del acceso a los servicios de modelo
• Integración con agentes de codificación