Inicie a exploração de LLMs no Databricks

Important

Este recurso está em versão Beta. Os administradores de conta podem controlar o acesso a esta funcionalidade a partir da página de Pré-visualizações da consola da conta. Ver Gerir as pré-visualizações de Azure Databricks.

Consulta LLMs no Azure Databricks com serviços de modelo no Unity AI Gateway.

A forma mais fácil de começar é consultar um serviço modelo fornecido pelo sistema em system.ai. Os serviços de modelos disponibilizados pelo sistema estão, por defeito, disponíveis para todos os utilizadores da conta, pelo que pode começar a enviar pedidos sem qualquer configuração adicional. Veja APIs de modelo Govern (serviços de modelo).

Também pode testar e conversar com estes modelos usando o AI Playground. Consulte Converse com LLMs e crie protótipos de aplicações de IA com o AI Playground.

Requirements

Important

Como prática recomendada de segurança para cenários de produção, o Databricks recomenda que se use tokens OAuth de máquina para máquina para autenticação durante a produção.

Para testes e desenvolvimento, a Databricks recomenda a utilização de um token de acesso pessoal pertencente a principais de serviço em vez de utilizadores do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

Comece a usar serviços de modelos

O exemplo seguinte destina-se a ser executado num notebook Azure Databricks. O exemplo de código consulta o serviço system.ai.claude-sonnet-4-5modelo fornecido pelo sistema, servido nativamente pelo Azure Databricks. Para outros modelos disponíveis, veja serviços de modelos.

Neste exemplo, usa o cliente OpenAI para consultar o modelo, preenchendo o model campo com o nome totalmente qualificado do serviço de modelo que pretende consultar. Use o seu token de acesso pessoal para preencher o DATABRICKS_TOKEN e a sua instância de espaço de trabalho do Databricks para conectar o cliente OpenAI ao Databricks.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Se encontrar a seguinte mensagem ImportError: cannot import name 'OpenAI' from 'openai', atualize a versão do seu openai usando !pip install -U openai. Depois de instalar o pacote, execute dbutils.library.restartPython().

Resultados esperados:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Próximos passos

  • Last updated on