Unity Gateway-koncept

Unity Gateway samlar registrering, upptäckt och tillgång till AI-modeller och verktyg på ett och samma ställe. Kontrollera vem som kan använda dem, övervaka användningen och hantera kostnader över applikationer och agenter.

Unity Gateway använder dessa koncept för att hantera modeller, modellleverantörer, verktyg, färdigheter och skyddsräcken implementerade med tjänstepolicyer:

Begrepp Vad det gör Example
Modell En LLM eller en inbäddningsmodell. En registrerad modell behöver en modelltjänst för att hantera förfrågningar. gpt-astra-6.
Modelltjänst En slutpunkt som översätter och dirigerar inferensförfrågningar till en eller flera modeller, med trafikdelning och reservvägar. Stöder realtidsförfrågningar samt batchinferens. frontier-model: GPT Astra 6 på Azure Databricks, med Claude Opus 5 som reservplan.
opus-5: Opus 5 tillhandahålls av Azure Databricks, med AWS Bedrock som reservplan.
Modellleverantör En anslutning som dirigerar förfrågningar till en extern modellleverantör med centralt hanterade inloggningsuppgifter. anthropic-prod: En koppling till Anthropic.
MCP Ett gränssnitt för agenter att upptäcka och anropa verktyg via Model Context Protocol (MCP). support-tools: Verktyg för Slack och Jira.
Färdighet Återanvändbara instruktioner och filer som en agent läser in för att vägleda dess arbete. customer-support: En stödhandbok.
Servicepolicy Implementerar skyddsmekanismer som kontrollerar förfrågningar och svar från AI-tjänster, med hjälp av inbyggda, anpassade eller externa policyer. Den inbyggda policyn detect_sensitive_data upptäcker konfigurerade typer av känslig data, såsom kreditkortsnummer, i modellens förfrågningar och svar. Den blockerar eller redigerar matcher.

Hur bitarna passar ihop

Anropa en modelltjänst för att komma åt gpt-astra-6 på Azure Databricks, med samma modell tillgänglig via aws-bedrock som reservlösning. Du kan byta modeller eller reservlösningar utan att ändra namnet som din applikation använder vid anrop. Bifoga den inbyggda policyn för känslig datadetektering till modelltjänsten för att kontrollera förfrågningar och svar för konfigurerade känsliga datakategorier.

Codex-agenten laddar kundsupportfärdigheten och anropar en modelltjänst som skyddas av tjänstpolicyn detect_sensitive_data, vilken kontrollerar modellförfrågningar och modellsvar. Modelltjänsten dirigerar trafik till gpt-astra-6 på Databricks eller faller tillbaka på samma modell via modellleverantören aws-bedrock. Agenten har också åtkomst till Slack och Jira via MCP.

Anropsmodeller och verktyg

Byt <workspace-url> ut de illustrativa namnen mot dina egna. Se snabbstart för att konfigurera DATABRICKS_TOKEN.

Modelltjänst

Modelltjänster stöder enhetliga API:er såsom OpenAI-kompatibla chattkompletteringar och leverantörsbaserade API:er som Anthropic Messages för kompatibla modeller.

Ring frontier-model med det enhetliga Chat Completions API:et. Tjänsten väljer modellen:

curl "https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "production.ai.frontier-model",
    "max_tokens": 256,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Se grundmodeller och inbäddningsmodeller för frågor för SDK-exempel och andra API:er.

Modellleverantör

Anropa en extern modell via anthropic-prod med hjälp av Anthropic Messages API. Headern väljer anslutningen, och Unity Gateway tillhandahåller sina inloggningsuppgifter:

curl "https://<workspace-url>/ai-gateway/anthropic/v1/messages" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Databricks-Model-Provider-Service: production.ai.anthropic-prod" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5",
    "max_tokens": 256,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Se Fråga externa modellleverantörer (modellleverantörstjänster) för stödda leverantörs-API:er.

MCP

Lista de verktyg som finns tillgängliga genom support-tools:

curl "https://<workspace-url>/ai-gateway/mcp-services/production.ai.support-tools" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Accept: application/json, text/event-stream" \
  -d '{
    "jsonrpc": "2.0",
    "id": 1,
    "method": "tools/list",
    "params": {}
  }'

Se Använd MCP-verktyg i en Python-agent för verktygsanrop och agentintegrationer.

Unity-katalog och åtkomstkontroll

Unity Gateway integreras med Unity Catalog för att kontrollera vem som skapar tjänster, ombordar modellleverantörer, anropar dem eller delar åtkomst. Unity-katalogen styr också registrerade modeller, färdigheter och vem som kan koppla till tjänstepolicyer.

Unity-katalogens skyddsbara objekt

Modeller, modelltjänster, modellleverantörer, MCP:er och färdigheter är Unity Catalog-securables: objekt som du kan ge behörigheter på. Deras namn följer catalog.schema.name, såsom production.ai.frontier-model. Azure Databricks-levererade modelltjänster är registrerade i system.ai.

En modellleverantör är registrerad som en modellleverantörstjänst i Unity-katalogen. Servicepolicyer är kopplade till tjänster och är inte fristående säkerhetskrav.

I Unity Catalog är en modell en tillgång i vila: versioner, metadata och artefakter. Att registrera det innebär inte att det kan anropas. För externa modeller, registrera modellleverantörsanslutningen istället för modellen.

Nyckelbehörigheter

Ge behörigheter till användare, grupper eller tjänstehuvudpersoner. För modelltjänster, modellleverantörer och MCP:er skiljer de huvudsakliga behörigheterna användning från administration:

Privilege Vad den tillåter
EXECUTE Ring en modelltjänst, en modellleverantör eller en MCP.
CREATE SERVICE Skapa tjänster och onboarda modellleverantörer i ett schema.
READ METADATA Granska konfigurationen.
MANAGE Ändra konfiguration och ge tillgång till andra.

Användare behöver också USE CATALOG och USE SCHEMA för den överordnade katalogen och det överordnade schemat. Tjänstpolicyer begränsar auktoriserade anrop. De ger inte tillträde. Se varje koncepts sida för dess fullständiga tillståndskrav.

Get started

Börja med en färdig modelltjänst från system.ai, eller koppla din kodningsagent:

Topic Description
Skicka din första förfrågan Fråga en modell och se dess användning i gatewayen.
Anslut en kodningsagent Använd din föredragna kodagent med modeller som tillhandahålls av Azure Databricks.
Övervaka användning Inspektera modellens och verktygens aktivitet, prestanda och kostnad.
Konfigurera styrning Konfigurera åtkomst och policyer för din organisations AI-användning.
  • Uppdaterades senast