Kom igång med att ställa frågor mot LLM:er på Databricks

Important

Den här funktionen finns i Beta. Kontoadministratörer kan styra åtkomsten till den här funktionen från sidan förhandsversioner av kontokonsolen. Se Hantera förhandsversioner av Azure Databricks.

Sök i LLM:er på Azure Databricks med modelltjänster i Unity Gateway.

Det enklaste sättet att komma igång är genom att fråga en modelltjänst som tillhandahålls av systemet i system.ai. Systembaserade modelltjänster är tillgängliga för alla kontoanvändare som standard, så du kan börja skicka begäranden utan ytterligare konfiguration. Se Anpassade modelltjänster.

Du kan också testa och chatta med dessa modeller med hjälp av AI Playground. Se Chatta med LLM:er och prototyp-AI-appar med AI Playground.

Requirements

Important

Som bästa säkerhet för produktionsscenarier rekommenderar Databricks att du använder OAuth-token från dator till dator för autentisering under produktion.

För testning och utveckling rekommenderar Databricks att du använder en personlig åtkomsttoken som tillhör tjänstens huvudnamn i stället för arbetsyteanvändare. Information om hur du skapar token för tjänstens huvudnamn finns i Hantera token för tjänstens huvudnamn.

Kom igång med modelltjänster

Följande exempel är avsett att köras i en Azure Databricks-notebook. Kodexemplet frågar den systemlevererade modelltjänstensystem.ai.claude-sonnet-4-5, som levereras nativt av Azure Databricks. För andra tillgängliga modeller, se modelltjänster.

I det här exemplet använder du OpenAI-klienten för att fråga modellen genom att fylla i model fältet med det fullständigt kvalificerade namnet på den modelltjänst som du vill köra frågor mot. Använd din personliga åtkomsttoken för att fylla i och din Databricks-arbetsyteinstans för att ansluta OpenAI-klienten till Databricks.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Om du får följande meddelande ImportError: cannot import name 'OpenAI' from 'openai'uppgraderar du din openai version med .!pip install -U openai När du har installerat paketet kör du dbutils.library.restartPython().

Förväntat resultat:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Nästa steg

  • Uppdaterades senast