Commencer à interroger les LLM sur Databricks

Important

Cette fonctionnalité est en version bêta. Les administrateurs de compte peuvent contrôler l’accès à cette fonctionnalité à partir de la page Aperçus de la console de compte. Consultez Gérer les préversions d’Azure Databricks.

Interrogez les LLM sur Azure Databricks avec des services de modèles dans Unity AI Gateway.

Le moyen le plus simple de commencer consiste à interroger un service de modèle fourni par le système dans system.ai. Les services de modèle fournis par le système sont disponibles pour tous les utilisateurs de compte par défaut. Vous pouvez donc commencer à envoyer des demandes sans configuration supplémentaire. Voir Govern Model APIs (services modèles).

Vous pouvez également tester et discuter avec ces modèles à l’aide de l’ai Playground. Consultez Conversation avec les LLMs et les applications IA prototypes à l’aide d’AI Playground.

Requirements

Important

À titre de meilleure pratique de sécurité pour les scénarios de production, Databricks vous recommande d’utiliser des jetons OAuth machine à machine pour l’authentification en production.

Pour les tests et le développement, Databricks recommande d’utiliser un jeton d’accès personnel appartenant à des principaux de service et non pas à des utilisateurs de l’espace de travail. Pour créer des jetons d’accès pour des principaux de service, consultez la section Gérer les jetons pour un principal de service.

Prise en main des services de modèle

L’exemple suivant est destiné à être exécuté dans un notebook Azure Databricks. L’exemple de code interroge le service system.ai.claude-sonnet-4-5modèle fourni par le système, servi nativement par Azure Databricks. Pour d’autres modèles disponibles, voir services de modèles.

Dans cet exemple, vous utilisez le client OpenAI pour interroger le modèle en remplissant le model champ avec le nom complet du service de modèle que vous souhaitez interroger. Utilisez votre jeton d’accès personnel pour renseigner le champ DATABRICKS_TOKEN et votre instance d’espace de travail Databricks pour connecter le client OpenAI à Databricks.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Si vous rencontrez le message suivant ImportError: cannot import name 'OpenAI' from 'openai', mettez à niveau votre version de openai en utilisant !pip install -U openai. Après avoir installé le package, exécutez dbutils.library.restartPython().

Sortie attendue :


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Étapes suivantes

  • Last updated on