Foundry Agent Service 是一個託管平台,用於建置、部署及擴展 AI 代理。 使用任何框架、Foundry 模型目錄中的任何支援模型,以及用於模型推論和工具的單一入口點進行建置。
Foundry 能滿足你從宣告式到完整程式碼的各種需求:定義 一個提示代理 或 基於語音的提示代理 ,讓 Foundry 執行;你自己的程式碼打包成 託管代理,或從你已在其他地方執行的代理中呼叫 回應 API 。 選擇建置方式涵蓋各種途徑。
代理服務一覽
| 組成部分 | 它的功能 |
|---|---|
| 代理執行時間 | 裝載並調整 Prompt Agent 和 Hosted Agent 的規模。 管理對話、工具呼叫及客服人員生命週期。 |
| 工具箱 | 策劃一組工具,例如:網頁搜尋、檔案搜尋、程式碼直譯器、MCP 伺服器及自訂函式。 然後透過單一受管的 MCP 端點,透過集中式認證、治理與版本管理,在多個代理間共享。 |
| 型號 | 可搭配 Foundry 模型目錄中的多個模型,如 GPT-4o、Llama 及 DeepSeek。 在不更改代理代碼的情況下交換模型。 |
| 可檢視性 | 端對端追蹤、指標、評估與應用洞察整合。 查看你的經紀人所做的每一個決策,並衡量其品質。 |
| 最佳化 | 代理優化器(預覽版)評估代理行為,並自動為提示代理與託管代理生成更佳的指令、技能、工具描述及模型選擇。 |
| 身份與安全 | Microsoft Entra 身份、RBAC、內容過濾與虛擬網路隔離。 內建企業級信任。 |
| 發佈 | 版本代理、建立穩定端點,並透過 Microsoft Teams、Microsoft Copilot 及 Entra 代理登錄檔分享。 |
選擇如何建造
Tip
建立你的第一個經紀人? 可以使用 Foundry 入口網站,或是使用程式碼建立提示代理程式的快速入門,來開始使用提示代理程式。
Foundry 提供多種建構方式,從單一模型呼叫到完全容器化的代理。 根據你想做的事來選擇你的道路:
- 想讓文字處理的管理工作降到最低嗎?就從提示詞代理程式開始。 設定指示、模型和工具;Foundry 無須程式碼或基礎架構即可執行。
- 想要一個管理式即時語音體驗嗎?建立一個基於語音的提示代理。 設定語音體驗,並透過 Voice Live 連接,不用自己架設編排程式碼。
- 想要在 Foundry 中擁有完全掌控權嗎?部署代管代理程式。 自備程式碼和框架並封裝成容器;Foundry 會以受控端點、擴充能力和身分識別來執行它。
- 已經在其他地方執行過代理程式嗎?直接呼叫回應 API ,使用 Foundry 模型與工具,無需管理代理資源。
本概述涵蓋的代理類型包括提示代理、基於語音的提示代理以及託管代理。 下一節會詳細說明每種的價值,讓你可以放心選擇。
代理人類型
代理人服務提供三種代理人類型。 你的選擇決定了你建造的數量與 Foundry 能管理的數量:
- 提示代理:最快途徑。 定義指令、模型和工具,Foundry 就能自動執行代理,無需程式碼或基礎設施管理。
- 基於語音的提示代理:管理式即時語音代理。 先設定型號、說明書、音訊和工具,然後透過 Voice Live 連接客服人員。
- 託管代理:控制力最大。 帶上你自己的程式碼和框架,Foundry 會以容器形式運行,並有管理端點、擴展和身份。
提示詞 Agent
你完全透過設定來定義提示代理,包括指令、模型選擇和工具。 在 Foundry 入口網站撰寫它們,方便快速開始,或用 SDK 或 REST API 程式化定義,與你的 CI/CD 工作流程整合。 無論哪種情況,Foundry 都會為你執行代理程式。 沒有需要維護的應用程式程式碼,也沒有容器或套件需要優化、擴展或監控安全性。
有兩條起步路徑:
- 入口網站優先:先在 Foundry 入口網站中以互動方式建立代理程式,在測試場中測試,然後再從應用程式程式碼中呼叫。
- 程式碼優先:在部署流程中使用 SDK 或 REST API 定義代理,從而實現版本控制、程式碼審查和自動化推出。
最佳用途:快速入門、內部工具、不需要自訂編排邏輯的生產代理,以及想要無基礎設施負擔的管理執行時團隊。
語音式提示代理程式
基於語音的提示代理是用於即時語音對話的管理代理。 在代理定義中設定模型、指示、音訊設定、可選的問候語及工具。 Foundry Agent Service 管理代理生命週期,並使用 Voice Live 進行語音辨識、輪流、模型互動及語音合成。
基於語音的提示代理程式支援受管理模型,且在支援的情況下,還能部署自己的模型。 你透過即時 WebSocket 連接客服,而不是發送單一簡訊請求。 關於設定及支援的用戶端語言,請參見 快速入門:建立基於語音的提示代理程式。 關於語音架構、資源及當前預覽限制,請參見「 基於語音的代理人員如何運作」。
最佳用途:面向客戶的語音體驗、客服中心場景,以及需要低延遲音訊互動且無需自行實作語音協調服務的應用程式。
託管代理
Hosted agents 是使用 Agent Framework、LangGraph、OpenAI Agents SDK、Anthropic Agent SDK、GitHub Copilot SDK 所建構的程式碼代理。 或者你自己的程式碼。 你可以將代理程式以容器映像檔或原始碼的 .zip 檔案形式發佈(當你帶來 .zip 檔案時,Foundry 會幫你建立映像檔),Foundry 會以管理端點、自動擴展、專用Microsoft Entra身份、會話層級狀態持久性以及端對端可觀察性來執行。
底層是你的代理程式碼呼叫 Foundry 專案端點進行模型推論與工具協調,讓你能存取目錄中的 Foundry 模型及統一的平台工具組合:標準工具如檔案搜尋、程式碼直譯器和網頁搜尋,以及 SharePoint、WorkIQ 和 Fabric IQ 等額外工具。
最適合用於:會呼叫您自有自訂程式碼的代理;其次也適用於自訂編排邏輯、多代理系統,以及您希望能完全掌控代理邏輯、同時讓 Foundry 負責託管、擴展和身分識別管理的自訂通訊協定(Webhook、語音、AG-UI)。
比較代理類型
| 提示詞 Agent | 語音式提示代理程式 | 託管代理 | |
|---|---|---|---|
| 撰寫介面 | 入口網站、SDK 或 REST | 透過入口網站、SDK 或 REST 定義代理程式 | Agent Framework、LangGraph、OpenAI Agents SDK、Anthropic Agent SDK、GitHub Copilot SDK、自訂程式碼 |
| Foundry 模型 + 平台工具 | 是的 | 是的,可透過 Voice Live 和已設定的代理工具。 | 是的(透過 Foundry 專案端點的回應 API) |
| 技能支援 | 是的 | 是的 | 是的 |
| 需維護的執行階段程式碼 | 沒有 | 受控語音協調流程不適用 | 是的,你的代理程式邏輯 |
| 以運算進行管理 | 沒有,完全受控 | 沒有,完全受控 | 容器運算,由 Foundry 管理 |
| 受管理端點 | 是的 | 是,支援即時 WebSocket | 是的 |
| Autoscale | 自動,鑄造廠管理;隨請求量而調整 | 由Foundry與Voice Live管理 | 自動,由 Foundry 管理;依據每個工作階段和請求量擴充容器執行個體 |
| 代理身份(Entra) | 是的 | 是的 | 每個 Agent 自動專用 |
| 成本模型 | 按次呼叫推論 + 工具使用 | Voice Live 與模型用量;請參閱服務定價 | 每次呼叫推論 + 工具使用 + 容器運算 |
| 適用對象 | 快速開始,無需自訂協調流程的生產 Agent | 無需托管語音協調程式碼即可即時語音互動 | 呼叫自訂程式碼的代理;其次是自訂編排邏輯 |
使用 Responses API 來建立臨時代理
當你直接從自己的程式碼呼叫回應 API,你建構了一個 短暫代理:代理的定義(指令、工具和模型)存在於你的應用程式程式碼中,而非作為 Foundry 中的持久化資源。 每次呼叫都會組合你的程序中的代理,並對 Responses API 執行,所以 Foundry 裡不需要代理來建立、更新或刪除。
請在下列情況下使用此模式:
- 隨應用程式一同提供的代理程式邏輯。 定義版本會與其餘程式碼一同透過原始碼版本控制和程式碼審查來管理,而不是作為獨立的 Foundry 資源,還得由某人將其與應用程式保持同步。
- 無須資源額外負荷即可使用 Foundry 功能。 您仍可享有目錄模型、平台工具、專案範圍內的資料、代理者驗證,以及專案層級的可觀察性與控管。 全都透過您的 Foundry 專案端點。
請參閱 快速入門:使用回應 API 。
語音代理的運作原理
語音式提示代理程式可進行即時口語對話。 你可以在 Foundry 入口網站或透過 SDK 設定代理,用麥克風測試,然後透過瀏覽器體驗或電話號碼通道開放使用。 Foundry 管理代理的生命週期和語音協調,所以你不需要自己架設這些基礎設施。
Important
基於語音的代理以及部分相關的監控、評估、avatar、WebRTC 和電話功能目前仍在預覽階段。 預覽功能在沒有服務等級協議的情況下提供,且在您檢視其支援、安全性、合規性及可用性需求前,不建議用於生產工作負載。
基於語音的代理程式支援兩種模型架構。
原生語音轉語音
Caller audio
-> realtime speech model
-> spoken response
此架構優化為自然、低延遲的對話。 即時模型直接處理語音輸入與輸出。 支援的設定與語音家族依所選型號而定。
層疊文字模型
Caller audio
-> speech recognition
-> text model
-> speech synthesis
-> spoken response
此架構提供更廣泛的文字模型與 Azure 語音選擇。 它同時提供對轉錄、片語列表、回合偵測及中間回應的明確控制,但每個階段都會導致端對端延遲。
核心資源
典型的入口網站語音代理會使用:
- Foundry 的資源與專案。
- 具版本控管的語音式提示 Agent。
- 完全受控的 Voice Live 模型,或符合資格的客戶部署模型。
- Azure Speech in Foundry 工具具備在所選架構需求時進行轉錄或合成的功能。
- 用於追蹤、監視及評估資料的 Application Insights。
- 適用於 Teams Phone 延伸功能撥入通話的 Azure 通訊服務 和 Azure 事件方格,或適用於 Twilio 電話號碼通道的 Twilio 專案連線。
使用全管理的 Voice Live 模型時,不需要另外部署音訊模型。 模型的可用性和行為會根據你的資源和區域動態載入。
目前入口網站中的支援範圍
| Capability | 目前的語音式運作方式 |
|---|---|
| 瀏覽器測試 | 可支援從 Agent 遊樂場使用。 |
| 預覽網頁應用程式 | 當代理端點支援回應協定時,即可使用。 |
| 電話號碼 | Teams 電話擴充性與 Twilio。 |
| 直接 SIP | 目前尚未作為受支援的客戶流程提供。 |
| Microsoft Teams 與 Microsoft 365 Copilot 應用程式發佈 | 標準的文字代理卡片目前並未顯示在基於語音的頻道配置中。 不要把這描述成手機整合路徑。 |
| 阿凡達 | 瀏覽器透過 WebRTC 進行視覺輸出;來電者僅能接收音訊。 |
| Monitoring | 針對語音的摘要卡、代幣分解及連線延遲圖表都需要應用程式洞察。 |
| 追蹤 | 語音追蹤使用單一追蹤導向的視圖,因為語音追蹤沒有回應 API response_id。 |
| 評估 | 支援根據現有對話進行完整對話評估。 目前語音代理尚未支援單回合和模擬對話評估。 |
| 從痕跡建立資料集 | 語音代理程式目前不支援追蹤頁面動作。 |
可用性和價格
可用性取決於 Foundry 資源區域、所選型號、所選語音、訂閱及啟用預覽功能。 在依賴特定型號之前,先先查看入口網站。
潛在收費包括生成式 AI 模型輸入與輸出、語音辨識與合成、客製化語音訓練與主機、虛擬化身使用、應用程式洞察的匯入與保留、Azure 通訊服務 通話與電話號碼、Microsoft Teams 與電話服務,以及連接工具與數據服務。 關於費用細節,請參見 語音代理的定價。
語音式代理程式說明文件
| 文章 | 可用於 |
|---|---|
| 建立基於語音的提示代理 | 建立一個受管理的語音代理,連接即時會話,並完成語音回合。 |
| 設定語音代理 | 選擇模型並設定轉錄、語言、聲音、虛擬化身、轉折偵測、音訊增強、中間回應及工具。 |
| 整合電話頻道 | 將 Teams Phone 擴充功能或 Twilio 與語音代理整合。 |
| 語音代理追蹤、監控與評估 | 追蹤、監控並評估語音對話。 |
| 語音式代理程式最佳實務 | 套用指令、延遲、識別、安全、隱私、交接、測試及釋放控制。 |
模型支援
代理服務可處理 Foundry 模型目錄中許多可用的模型。 完整名單請參閱 Foundry 入口網站。
工具與工具箱
代理人透過 工具對世界採取行動。 Foundry 提供內建工具,如網頁搜尋、檔案搜尋、程式碼直譯器和記憶體,同時也允許你透過函式、OpenAPI 規範和 MCP 伺服器新增自訂工具。 完整套裝請參考 工具箱總覽。
工具 箱 會將這些工具歸類為單一且可重複使用的單元。 你只需將這些工具整理一次,Foundry 就會透過單一受管理且相容於 MCP 的端點對外提供它們,讓任何代理程式或執行階段都可取用,不受框架限制。 工具箱集中管理認證、治理與版本管理,讓你能在同一地點更新工具,而不必重新接線每個代理。 建立新版本,測試它,準備好時再升為預設。 欲了解更多,請參閱 Foundry 中的 Toolbox 是什麼?。
連接並認證 MCP 遠端伺服器
Foundry 支援遠端 MCP 伺服器,你可以將這些伺服器加入你的代理程式,例如 Azure DevOps MCP 伺服器。 連接您的 Azure DevOps 組織以啟用代理存取權限,並配置一部分可用工具來控制代理可執行的動作。 你也可以使用 Functions MCP webhook 端點(/runtime/webhooks/mcp)連接 Azure Functions 上託管的自訂 MCP 伺服器,將自訂工具暴露給你的代理程式。
MCP 伺服器及其他工具連接支援的認證選項包括:
- 基於金鑰的存取
- Microsoft Entra(使用代理程式的管理身份識別或專案的管理身份識別)
- OAuth 身分識別傳遞 (代理者)
- 未認證存取權(如適用)
這些認證選項在連接遠端 MCP 伺服器時也適用,憑證與範圍由工具設定管理。
開發生命週期
代理服務支援完整的建置-測試-部署-監控工作流程:
- 建立:在入口網站或 SDK 中定義一個提示代理,或撰寫一個呼叫回應 API 的託管代理。
- 測試:在 agents 操作區 中與你的代理聊天,或在本機執行。 MCP 伺服器整合,包括託管於 Azure Functions 的自訂 MCP 伺服器,可直接在 Playground 中執行,以驗證工具的連接性、權限及行為,然後再發佈。
- 追蹤:透過 代理追蹤檢查每一個模型呼叫、工具調用及決策。
- 評估:進行評估以衡量品質並捕捉迴歸分析。
- 優化:利用 代理優化器自動優化你託管的客服人員指令。
- 發佈:將您的代理提升為具有穩定端點的受管理資源。
- 監控:透過 服務指標 與儀表板追蹤效能與可靠性。
詳細攻略請參閱 代理開發生命週期。
企業級能力
Agent Service 為你部署的每個代理提供企業級基礎架構:
- 代理身份:每個代理都可以擁有專屬的 Microsoft Entra 身份,確保安全且有範圍的資源與 API 存取,且不共享憑證。 代理程式身分識別可向外部 MCP 伺服器 (包括裝載於 Azure Functions 上的伺服器) 進行驗證,且在設定後可支援 OAuth 代理者 (OBO) 傳遞。
- 私有網路:在您的 Azure 虛擬網路中運行代理,以實現完整的網路隔離並符合資料駐留要求。 Prompt Agent 可使用私人網路。 裝載的 Agent 支援自備 Azure 虛擬網路 (BYO VNet),其中每個工作階段都會在連線至 VNet 的 VM 隔離沙箱中執行。
- 以角色為基礎的存取控制:透過 Microsoft Entra 與 Azure RBAC 提供細緻的權限控管。 控制誰能建立、調用及管理代理人。
- 內容安全:整合內容過濾器有助於降低提示注入風險(包括跨提示注入),並防止不安全輸出。
關於環境設定的說明,請參見 「設定你的環境」。
出版與分享
Agent Service 提供內建版本控制與發布功能,讓您的代理能自信地從開發階段順利進入生產環境。
- 版本管理:當你在代理上迭代時,版本會自動被快照。 可以回滾到任何舊版本,或是比較不同版本之間的變更。
- 發佈:將代理升級為擁有穩定端點的受管理資源。 已發佈代理繼承為專案設定的 企業身份與存取控制 ,並可透過程式化調用。
- 分發:透過 Microsoft Copilot、Teams 以及 Entra 代理登錄檔分享已發佈的代理程式,將代理程式放在用戶已工作的地方。 Foundry 代理服務支援 Microsoft 365 發佈的 OpenResponses 與活動協定,一套用於靈活整合端點與自訂應用程式與服務的呼叫協定,以及用於代理對代理通訊的 A2A 協定。 A2A v1.0 已正式推出,v0.3 仍處於預覽階段。
安全性、隱私與合規
代理服務專為需要強大控制身份、網路、資料處理及安全管理的企業工作負載設計。
- 安全控管:使用整合式 護欄 ,協助減少不安全輸出並降低即時注入風險,包括交叉提示注入攻擊(XPIA)。
- 網路隔離與資料駐留控制:使用虛擬網路並自備資源以符合需求。
- 自備資源:使用您自己的Azure資源(例如儲存、Azure AI 搜尋服務和對話狀態的Azure Cosmos DB)來滿足合規與營運需求。 請參考「 使用您自己的資源」。
- 負責任 AI 指引:如需更廣泛的建議與治理資源,請參閱 Microsoft Foundry 的負責任 AI。