Introdução à consulta de LLMs no Databricks

Important

Esse recurso está em Beta. Os administradores de conta podem controlar o acesso a esse recurso na página Visualizações do console da conta. Consulte Gerenciar visualizações do Azure Databricks.

Consulte LLMs no Azure Databricks com serviços de modelo no Unity AI Gateway.

A maneira mais fácil de começar é consultando um serviço de modelo fornecido pelo sistema em system.ai. Os serviços de modelo fornecidos pelo sistema estão disponíveis para todos os usuários da conta por padrão, para que você possa começar a enviar solicitações sem nenhuma configuração adicional. Veja APIs de modelo Govern (serviços modelo).

Você também pode testar e conversar com esses modelos usando o Playground de IA. Veja Converse com LLMs e crie protótipos de aplicativos de IA no AI Playground.

Requirements

Important

Como prática recomendada de segurança para cenários de produção, a Databricks recomenda que você use tokens OAuth máquina a máquina para autenticação durante a produção.

Para testes e desenvolvimento, a Databricks recomenda a utilização de um token de acesso pessoal pertencente a principais de serviço em vez de utilizadores do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

Comece a usar serviços de modelo

O exemplo a seguir deve ser executado em um notebook do Azure Databricks. O exemplo de código consulta o serviço system.ai.claude-sonnet-4-5modelo fornecido pelo sistema, servido nativamente pelo Azure Databricks. Para outros modelos disponíveis, veja serviços de modelos.

Neste exemplo, você usa o cliente OpenAI para consultar o modelo preenchendo o model campo com o nome totalmente qualificado do serviço de modelo que deseja consultar. Use seu token de acesso pessoal para preencher o DATABRICKS_TOKEN e sua instância do espaço de trabalho do Databricks para conectar o cliente OpenAI ao Databricks.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Se você encontrar a seguinte mensagem ImportError: cannot import name 'OpenAI' from 'openai', atualize sua versão do openai usando !pip install -U openai. Após instalar o pacote, execute dbutils.library.restartPython().

Resultado esperado:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Próximas etapas

  • Last updated on