Unity Gateway 將註冊、發現以及 AI 模型與工具的存取集中於一處。 控制誰能使用這些服務、監控使用情況,並管理跨應用程式與代理商的成本。
Unity Gateway 運用這些概念來管理模型、模型提供者、工具、技能及以 服務政策實作的防護欄:
| 概念 | 其功能是什麼 | 範例 |
|---|---|---|
| 模型 | 大型語言模型(LLM)或嵌入模型。 已註冊的模型需要模型服務來為請求提供服務。 |
gpt-astra-6。 |
| 模型服務 | 一個端點,能將推理請求轉換並路由到一個或多個模型,並具備 流量分割與備援功能。 支援 即時請求,並支援 批次推論。 |
frontier-model: GPT Astra 6 在 Azure Databricks 上,並以 Claude Opus 5 作為備用。opus-5: Opus 5 由 Azure Databricks 提供,AWS Bedrock 作為備用。 |
| 模型提供者 | 一種透過集中管理憑證將請求路由至外部模型提供者的連線。 |
anthropic-prod:與 Anthropic 的連結。 |
| MCP | 一個讓代理透過模型情境協定(MCP)發現並呼叫工具的介面。 |
support-tools:適用於 Slack 和 Jira 的工具。 |
| 技巧 | 代理程式載入的可重複使用的指令與檔案,以引導其工作。 |
customer-support:一本支援手冊。 |
| 服務政策 | 實施防護措施,檢查對 AI 服務的請求與回應。 | 內建 detect_sensitive_data 政策偵測模型請求與回應中已設定的敏感資料類型,如信用卡號碼。 會封鎖或隱去相符項目。 |
這些元素如何拼湊起來
呼叫模型服務以在 Azure Databricks 上存取 gpt-astra-6,並可透過 aws-bedrock 使用相同的模型作為備援。 你可以更改模型或備援,而無需更改應用程式呼叫的名稱。 將內建的敏感資料偵測服務政策附加到模型服務上,以檢查配置敏感資料類別的請求與回應。
呼叫模型與工具
將 <workspace-url> 和示例名稱替換為你自己的內容。 請參閱 快速入門 以設定 DATABRICKS_TOKEN。
模型服務
模型服務支援統一的 API,例如 與 OpenAI 相容的 Chat Completions,以及針對相容模型的供應商原生 API,例如 Anthropic Messages。
使用統一的 Chat Completions API 呼叫 frontier-model。 服務選擇型號:
curl "https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "production.ai.frontier-model",
"max_tokens": 256,
"messages": [{"role": "user", "content": "Hello!"}]
}'
請參閱 查詢基礎與嵌入模型 以獲取SDK範例及其他API。
模型提供者
透過 anthropic-prod 使用 Anthropic Messages API 呼叫外部模型。 標頭選擇連線,Unity Gateway 提供其憑證:
curl "https://<workspace-url>/ai-gateway/anthropic/v1/messages" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Databricks-Model-Provider-Service: production.ai.anthropic-prod" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-opus-5",
"max_tokens": 256,
"messages": [{"role": "user", "content": "Hello!"}]
}'
請參閱 查詢外部模型提供者(模型提供者服務) 以了解支援的提供者 API。
MCP
列出可透過 support-tools 使用的工具:
curl "https://<workspace-url>/ai-gateway/mcp-services/production.ai.support-tools" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-H "Accept: application/json, text/event-stream" \
-d '{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/list",
"params": {}
}'
請參閱「 在自訂代理中使用 MCP 伺服器 」以了解工具呼叫與代理整合。
Unity 目錄與存取控制
Unity Gateway 與 Unity Catalog 整合,以控制誰 建立服務、 接手模型提供者、呼叫或共享存取權限。 Unity Catalog 也控管已註冊的模型、技能,以及誰可以附加服務原則。
Unity 目錄可擔保資產
模型、模型服務、模型提供者、MCP 和技能是 Unity Catalog 的可保護物件:你可以授權權限的物件。 它們的名稱接著 catalog.schema.name,例如 production.ai.frontier-model。 Azure Databricks 提供的模型服務已註冊於 system.ai。
模型提供者已在 Unity Catalog 中登錄為模型提供者服務。 服務保單是附加於服務,並非獨立的可擔保項目。
在 Unity Catalog 中,模型是一種靜態資產:版本、元資料和工件。 註冊它不代表它就可呼叫。 對於外部模型,請註冊模型提供者連線,而非模型本身。
金鑰權限
授權使用者、群組或服務主體。 對於 模型服務、 模型提供者與 MCP,主要權限將使用與管理分開:
| Privilege | 它允許什麼 |
|---|---|
EXECUTE |
呼叫模型服務、模型提供者或 MCP。 |
CREATE SERVICE |
建立服務並內建模型提供者於結構中。 |
READ METADATA |
檢查配置。 |
MANAGE |
更改設定並授權其他使用者存取。 |
呼叫者也需要在父目錄和結構描述上具有 USE CATALOG 和 USE SCHEMA。 服務政策限制授權通話。 他們不提供存取權限。 請參閱每個概念的完整權限要求頁面。
開始
從 system.ai 提供的可直接使用模型服務開始,或連接到你的程式設計代理:
| Topic | Description |
|---|---|
| 發送你的第一個請求 | 查詢一個模型,並查看其在閘道中的使用情況。 |
| 連接編碼代理 | 使用你偏好的編碼代理程式,搭配 Azure Databricks 提供的模型。 |
| 監視使用量 | 檢查模型與工具的活動、效能及成本。 |
| 設定治理 | 為組織的 AI 使用設定存取權限與政策。 |