Unity Gateway 概念

Unity Gateway 將註冊、發現以及 AI 模型與工具的存取集中於一處。 控制誰能使用這些服務、監控使用情況,並管理跨應用程式與代理商的成本。

Unity Gateway 運用這些概念來管理模型、模型提供者、工具、技能及以 服務政策實作的防護欄:

概念 其功能是什麼 範例
模型 大型語言模型(LLM)或嵌入模型。 已註冊的模型需要模型服務來為請求提供服務。 gpt-astra-6。
模型服務 一個端點,能將推理請求轉換並路由到一個或多個模型,並具備 流量分割與備援功能。 支援 即時請求,並支援 批次推論。 frontier-model: GPT Astra 6 在 Azure Databricks 上,並以 Claude Opus 5 作為備用。
opus-5: Opus 5 由 Azure Databricks 提供,AWS Bedrock 作為備用。
模型提供者 一種透過集中管理憑證將請求路由至外部模型提供者的連線。 anthropic-prod:與 Anthropic 的連結。
MCP 一個讓代理透過模型情境協定(MCP)發現並呼叫工具的介面。 support-tools:適用於 Slack 和 Jira 的工具。
技巧 代理程式載入的可重複使用的指令與檔案,以引導其工作。 customer-support:一本支援手冊。
服務政策 實施防護措施,檢查對 AI 服務的請求與回應。 內建 detect_sensitive_data 政策偵測模型請求與回應中已設定的敏感資料類型,如信用卡號碼。 會封鎖或隱去相符項目。

這些元素如何拼湊起來

呼叫模型服務以在 Azure Databricks 上存取 gpt-astra-6,並可透過 aws-bedrock 使用相同的模型作為備援。 你可以更改模型或備援,而無需更改應用程式呼叫的名稱。 將內建的敏感資料偵測服務政策附加到模型服務上,以檢查配置敏感資料類別的請求與回應。

Codex 代理程式載入客戶支援技能,呼叫受 detect_sensitive_data 服務政策保護的模型服務,該政策會檢查模型請求與回應。模型服務會路由至 Databricks 上的 gpt-astra-6,或透過 aws-bedrock 模型提供者回退至同一模型。代理程式也透過 MCP 存取 Slack 與 Jira。

呼叫模型與工具

將 <workspace-url> 和示例名稱替換為你自己的內容。 請參閱 快速入門 以設定 DATABRICKS_TOKEN。

模型服務

模型服務支援統一的 API,例如 與 OpenAI 相容的 Chat Completions,以及針對相容模型的供應商原生 API,例如 Anthropic Messages。

使用統一的 Chat Completions API 呼叫 frontier-model。 服務選擇型號:

curl "https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "production.ai.frontier-model",
    "max_tokens": 256,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

請參閱 查詢基礎與嵌入模型 以獲取SDK範例及其他API。

模型提供者

透過 anthropic-prod 使用 Anthropic Messages API 呼叫外部模型。 標頭選擇連線,Unity Gateway 提供其憑證:

curl "https://<workspace-url>/ai-gateway/anthropic/v1/messages" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Databricks-Model-Provider-Service: production.ai.anthropic-prod" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5",
    "max_tokens": 256,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

請參閱 查詢外部模型提供者(模型提供者服務) 以了解支援的提供者 API。

MCP

列出可透過 support-tools 使用的工具:

curl "https://<workspace-url>/ai-gateway/mcp-services/production.ai.support-tools" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Accept: application/json, text/event-stream" \
  -d '{
    "jsonrpc": "2.0",
    "id": 1,
    "method": "tools/list",
    "params": {}
  }'

請參閱「 在自訂代理中使用 MCP 伺服器 」以了解工具呼叫與代理整合。

Unity 目錄與存取控制

Unity Gateway 與 Unity Catalog 整合,以控制誰 建立服務、 接手模型提供者、呼叫或共享存取權限。 Unity Catalog 也控管已註冊的模型、技能,以及誰可以附加服務原則。

Unity 目錄可擔保資產

模型、模型服務、模型提供者、MCP 和技能是 Unity Catalog 的可保護物件:你可以授權權限的物件。 它們的名稱接著 catalog.schema.name,例如 production.ai.frontier-model。 Azure Databricks 提供的模型服務已註冊於 system.ai。

模型提供者已在 Unity Catalog 中登錄為模型提供者服務。 服務保單是附加於服務,並非獨立的可擔保項目。

在 Unity Catalog 中,模型是一種靜態資產:版本、元資料和工件。 註冊它不代表它就可呼叫。 對於外部模型,請註冊模型提供者連線,而非模型本身。

金鑰權限

授權使用者、群組或服務主體。 對於 模型服務、 模型提供者與 MCP,主要權限將使用與管理分開:

Privilege 它允許什麼
EXECUTE 呼叫模型服務、模型提供者或 MCP。
CREATE SERVICE 建立服務並內建模型提供者於結構中。
READ METADATA 檢查配置。
MANAGE 更改設定並授權其他使用者存取。

呼叫者也需要在父目錄和結構描述上具有 USE CATALOG 和 USE SCHEMA。 服務政策限制授權通話。 他們不提供存取權限。 請參閱每個概念的完整權限要求頁面。

開始

從 system.ai 提供的可直接使用模型服務開始,或連接到你的程式設計代理:

Topic Description
發送你的第一個請求 查詢一個模型,並查看其在閘道中的使用情況。
連接編碼代理 使用你偏好的編碼代理程式,搭配 Azure Databricks 提供的模型。
監視使用量 檢查模型與工具的活動、效能及成本。
設定治理 為組織的 AI 使用設定存取權限與政策。