Interroger les services de modèle dans AI Playground

AI Playground est une interface de chat dans votre espace de travail où vous pouvez interroger les services de modèles Unity Gateway sans écrire de code. Vous pouvez interroger les services de modèles fournis par le système et system.ai les services de modèles personnalisés que vous ou votre équipe créez dans le catalogue Unity.

Les requêtes que vous envoyez depuis le playground passent par Unity Gateway, donc les permissions, les limites de débit, les garde-fous et le suivi d’utilisation sur le service modèle s’appliquent à eux. Pour d’autres fonctionnalités de Playground, telles que les outils et le prototypage d’agents, voir Discuter avec des LLM et prototyper des applications d’IA à l’aide d’AI Playground.

Requirements

Note

Unity Gateway n’est pas pris en charge sur Azure Government.

Les permissions sur un modèle sous-jacent ne donnent pas accès au service modèle. Voir Migrer vers Unity Gateway.

Ouvrir un service de modèle dans AI Playground

Ouvrez le Playground de l’une des manières suivantes :

  • Depuis le Playground : sélectionnez Playground dans le panneau de navigation de gauche sous AI/ML, puis sélectionnez le service de modèles dans la liste déroulante en haut.
  • Depuis le service modèle : Dans la barre latérale de l’espace de travail, cliquez sur Unity Gateway. Dans l’onglet Modèles, sélectionnez le service de modèles, puis cliquez sur Chat in playground. Si le terrain d’expérimentation ne sélectionne pas le service de modèle à votre place, choisissez-le dans la liste déroulante située en haut.

La liste déroulante affiche uniquement les services modèles auxquels vous avez accès.

Envoyer des prompts et comparer les services de modèles

Envoyez des prompts et comparez les réponses comme vous le faites avec n’importe quel modèle dans le Playground. Consultez Conversation avec les LLMs et les applications IA prototypes à l’aide d’AI Playground.

Notez le nom entièrement qualifié du service modèle, tel que system.ai.claude-sonnet-4-5 ou main.default.team_chat. Vous utilisez le même nom lorsque vous appelez le service modèle depuis le code.

Pour comparer les services modèles côte à côte, sélectionnez + pour ajouter un volet, puis sélectionnez un service modèle différent. La comparaison vous aide à choisir un service de modèle pour votre application, ou à comparer les fournisseurs avant de configurer la division du trafic. Par exemple, comparez un service modèle fourni par le système avec un service modèle personnalisé.

Comment les fonctionnalités de Unity Gateway s’appliquent aux requêtes playground

Le Playground envoie chaque requête au service de modèle que vous sélectionnez. Les fonctionnalités configurées sur ce service modèle s’appliquent à la requête :

Feature Comportement dans AI Playground
Permissions Seuls les utilisateurs ayant EXECUTE sur le service de modèle peuvent l’interroger depuis l’aire de jeu. Les services de modèles utilisent les privilèges de leur créateur ; vous n’avez donc pas besoin d’accéder aux modèles vers lesquels le service achemine les demandes.
Limites du taux de transfert Les limites de service et de taux par utilisateur sur le service de modèle s’appliquent aux requêtes du Playground. Lorsque vous dépassez une limite, la demande échoue jusqu’à ce que la capacité reprenne.
Guardrails Les politiques de service attachées au service modèle évaluent vos prompts et les réponses du modèle. Lorsqu’une politique bloque un contenu, la réponse indique que le contenu a été bloqué par la politique. Les politiques de service sont en version Bêta. Un administrateur d’espace de travail les active via l’aperçu Unity Gateway Service Policies sur la page Aperçus. Voir Gérer les préversions au niveau de l’espace de travail et le tutoriel : Ajouter des garde-fous de politique de service à un service de modèle.
Suivi de l’utilisation La table système system.ai_gateway.usage enregistre les requêtes de playground avec invocation_metadata.source défini sur AI_PLAYGROUND.
Tables d’inférence Si le service de modèle journalise dans une table d’inférence, la table enregistre les requêtes et réponses du playground.

Note

Les changements de politique de privilèges et de service peuvent prendre quelques minutes à se propager. Pendant ce temps, les requêtes playground peuvent encore utiliser les privilèges ou politiques précédents.

Pour examiner votre utilisation de playground, lancez la requête suivante. L’interrogation de la table d’utilisation nécessite l’accès aux tables système. Consultez Octroyer un accès aux tables système.

SELECT
  service_name,
  requester,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE invocation_metadata.source = 'AI_PLAYGROUND'
GROUP BY service_name, requester
ORDER BY total_tokens DESC;

Passage du playground au code

Pour appeler le même service de modèle depuis votre application, transmettez son nom complet comme modèle. Vous pouvez interroger un service modèle avec les API unifiées, les API natives du fournisseur, ou, pour les services modèles fournis par le système, ai_query.

Par exemple, pour interroger un service de modèle avec l’API Unified Responses et le SDK Python OpenAI, exécutez ce qui suit :

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

response = client.responses.create(
  model="<model-service>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

Remplacez <workspace-url> par votre URL d’espace de travail Azure Databricks et <model-service> par le nom complet de votre service de modèle.

Pour envoyer votre première demande et voir ses indicateurs d’utilisation et de coût, consultez le démarrage rapide de Unity Gateway. Si vous avez prototypé un agent dans le playground, consultez Exporter votre agent.

Ressources supplémentaires