Wyszukiwanie usług modeli w AI Playground

AI Playground to interfejs czatu w twoim miejscu pracy, gdzie możesz zapytać o usługi modeli Unity Gateway model services bez pisania kodu. Możesz zapytywać usługi system.ai modelowe dostarczane przez system oraz niestandardowe usługi modelowe, które Ty lub Twój zespół tworzycie w Unity Catalog.

Żądania, które wysyłasz z Playground, przechodzą przez Unity Gateway, więc uprawnienia, limity liczby żądań, zabezpieczenia i śledzenie użycia w usłudze modelu mają do nich zastosowanie. W przypadku innych funkcji placu zabaw, takich jak narzędzia i prototypowanie agentów, zobacz Czat z LLM-ami oraz prototypowanie aplikacji AI z wykorzystaniem AI Playground.

Requirements

Note

Unity Gateway nie jest obsługiwany w Azure Government.

Uprawnienia na modelu bazowym nie dają dostępu do usługi modelu. Zobacz Przejdź do Unity Gateway.

Otwórz usługę modelową w AI Playground

Otwórz Playground na jeden z następujących sposobów:

  • W obszarze Playground: Wybierz Playground z lewego panelu nawigacyjnego w sekcji AI/ML, a następnie wybierz usługę modelu z listy rozwijanej u góry.
  • Z usługi modelowej: W pasku bocznym workspace kliknij Unity Gateway. Na zakładce Modele wybierz usługę modelu, a następnie kliknij Czat w Playground. Jeśli Playground nie wybierze dla Ciebie usługi modelowej, wybierz ją z listy rozwijanej u góry.

Lista rozwijana pokazuje tylko usługi modelowe, do których masz dostęp.

Wysyłaj prompty i porównuj usługi modelu

Wysyłaj prompty i porównuj odpowiedzi tak samo, jak robisz to z każdym modelem w Playground. Zobacz Chat with LLMs and prototype AI apps using AI Playground (Czat z aplikacjami LLM i prototypowymi aplikacjami sztucznej inteligencji przy użyciu platformy AI Playground).

Zwróć uwagę na w pełni kwalifikowaną nazwę usługi modelowej, taką jak system.ai.claude-sonnet-4-5 lub main.default.team_chat. Używasz tej samej nazwy, gdy wywołujesz usługę modelu z kodu.

Aby porównać usługi modelowe obok siebie, wybierz +, aby dodać panel, a następnie wybierz inną usługę modelową. Porównywanie pomaga wybrać model usługi dla Twojej aplikacji lub porównać dostawców przed skonfigurowaniem podziału ruchu. Na przykład porównaj usługę modelu dostarczoną przez system z niestandardową usługą modelu.

Jak funkcje Unity Gateway mają zastosowanie do żądań w playground

Playground wysyła każde żądanie do wybranej przez Ciebie usługi modelowej. Funkcje skonfigurowane na tamtej usłudze modelu dotyczą żądania:

Feature Zachowanie w AI Playground
Uprawnienia Tylko użytkownicy z uprawnieniem EXECUTE do usługi modelu mogą wysyłać do niej zapytania z Playground. Usługi modelowe korzystają z uprawnień definiera, więc nie potrzebujesz dostępu do modeli, do których kieruje ruch usługa.
Limity szybkości Limity usługi modelu i limity na użytkownika mają zastosowanie do żądań w Playground. Gdy przekroczysz limit, żądanie kończy się niepowodzeniem, dopóki pojemność się nie odzyska.
Guardrails Polityki serwisowe powiązane z usługą modelu oceniają Twoje prompty oraz odpowiedzi modelu. Gdy polityka blokuje treść, odpowiedź informuje, że treść została zablokowana przez politykę. Zasady usługi są w fazie beta. Administrator przestrzeni roboczej włącza je za pomocą podglądu Unity Gateway Service Policies na stronie Zapowiedzi . Zobacz Zarządzanie podglądami na poziomie obszaru roboczego oraz Samouczek: Dodaj bariery ochronne polityki usług do modelu usługi.
Śledzenie wykorzystania Tabela systemowa rejestruje żądania playground z invocation_metadata.source ustawionym na AI_PLAYGROUND.
Tabele inferencji Jeśli usługa modelu zapisuje logi w tabeli wnioskowania, tabela rejestruje żądania i odpowiedzi Playground.

Note

Zmiany w polityce uprawnień i usług mogą rozchodzić się przez kilka minut. W tym czasie żądania playground mogą nadal być przetwarzane zgodnie z wcześniejszymi uprawnieniami lub politykami.

Aby sprawdzić użycie playgroundu, uruchom następujące zapytanie. Wykonywanie zapytań względem tabeli użycia wymaga dostępu do tabel systemowych. Zobacz Udzielanie dostępu do tabel systemowych.

SELECT
  service_name,
  requester,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE invocation_metadata.source = 'AI_PLAYGROUND'
GROUP BY service_name, requester
ORDER BY total_tokens DESC;

Przejdź z Playground do kodowania

Aby wywołać tę samą usługę modelu z aplikacji, należy podać jej w pełni kwalifikowaną nazwę jako model. Możesz wysyłać zapytania do usługi modelu za pomocą ujednoliconych interfejsów API, natywnych interfejsów API dostawcy lub, w przypadku usług modeli dostarczanych przez system, ai_query.

Na przykład, aby zapytać usługę modelu za pomocą Unified Responses API i OpenAI Python SDK, wykonaj następujące procedury:

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

response = client.responses.create(
  model="<model-service>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

Zastąp element <workspace-url> adresem URL obszaru roboczego usługi Azure Databricks, a element <model-service> w pełni kwalifikowaną nazwą usługi modelowej.

Aby wysłać swoje pierwsze żądanie i zobaczyć jego zużycie oraz metryki kosztów, zobacz quickstart Unity Gateway. Jeśli prototypowałeś agenta w Playground, zobacz Eksportuj swojego agenta.

Dodatkowe zasoby