目前正在觀看:Foundry(經典)入口版本 - 切換到新 Foundry 入口網站版本
大多數企業不只想要聊天機器人。 他們想要更快且錯誤更少的自動化。 這種需求可能意味著摘要文件、處理發票、管理客服工單或發布部落格文章。 在所有情況下,目標都是一樣的:透過卸下重複且可預測的任務,釋放人員和資源專注於更高價值的工作。
大型語言模型(LLM)引入了一種新型態的自動化,系統能理解非結構化資料、做出決策並產生內容。 實務上,企業往往難以從示範階段進入生產階段。 LLM 可能會偏移、出錯,且缺乏問責機制。 若缺乏可視性、政策執行與協調,這些模型在真實業務工作流程中難以被信任。
Microsoft Foundry 就是為了改變這點而設計的。 這是一個結合模型、工具、框架與治理的平台,整合成一個統一系統,用以打造智慧代理。 在此系統的核心是 Foundry Agent Service 服務,它能在開發、部署與正式環境中啟用 Agent 的運作。
Agent Service 將 Foundry 的核心部分,如模型、工具與框架,連結於單一執行環境。 它管理對話、協調工具呼叫、執行內容安全,並整合身份、網路及可觀察性系統。 這些功能幫助你打造安全、可擴展且準備好生產環境的代理程式。
透過抽象化基礎設施複雜性,並依設計強化信任與安全,Agent Service 能幫助您自信地從原型邁向生產。
先決條件
- 一個 Azure 訂閱,擁有建立和管理 Foundry 資源的權限。
- 一個鑄造廠的專案。 如果你還沒建立過,先從 環境設定開始。
- 一個部署好的模型,讓你的代理程式可以使用。 型號與地區供應可能有所不同;請參閱 告知代理人的模型。
供應、區域與限制
代理服務的能力會依你使用的 Foundry 經驗以及你選擇的模式和地區而有所不同。
- 如需服務限制、配額及節流考量,請參閱 Agent Service 的配額與限制。
- 關於模型與區域支持,請參見 告知代理人的模型。
如果你正在開發第一個代理程序,請從「開始使用 Foundry Agent Service」的快速入門連結開始,確保你的 API 路徑正確並適合你的 Foundry 使用體驗。
什麼是 AI 代理?
客服人員會做出決策、調用工具,並參與工作流程。 他們有時獨立執行這些任務,有時與其他代理人或人類合作。 它們是真正流程自動化的基礎。
你透過 Foundry 建立的代理程式不是單一架構。 它們是可組合的單元。 每個代理都有特定角色,配備合適的模組,並配備合適的工具。 你可以在安全、可觀察且可治理的執行環境中部署每個代理。
代理人有三個核心組成部分:
- 模型(LLM):提供推理與語言理解能力。
-
指示:定義代理人的目標、行為與限制條件。 它們可以有以下幾種類型:
- 宣告式:
- 基於提示詞:一個宣告式定義的單一代理,結合模型配置、指令、工具與自然語言提示來驅動行為。
- 工作流程:一種代理式工作流程,可以 YAML 或其他程式碼表達,以協調多個代理一起運作,或根據特定條件觸發動作。
- 託管:由 Foundry 以程式碼建立與部署的容器化代理程式。
- 宣告式:
- 工具:讓代理人自行擷取知識或採取行動。
代理會接收來自其他代理的非結構化輸入,例如使用者提示、警示或訊息。 它們會產生工具結果或訊息的輸出。 過程中,他們可能會呼叫工具來執行檢索或觸發動作。
Foundry 中的代理人是如何運作的?
可以把 Foundry 想像成智慧代理的流水線。 如同任何現代工廠,Foundry 集合了多個專門的工作站,各自負責最終產品的部分成型。 代理工廠不再依賴機器和輸送帶,而是運用模型、工具、政策與協調,打造安全、可測試且準備好生產的代理。 工廠的運作步驟如下:
1. 模型
當你選擇一個能賦予代理人智能的模型時,裝配線就會開始運作。 從日益增多的大型語言模型(LLM)中選擇,包括 GPT-4o、GPT-4、GPT-3.5(Azure OpenAI)以及像 Llama 這樣的其他模型。 模型是代理人的推理核心,為其決策提供資訊。
2. 可自訂性
根據你的使用情境來塑造模型。 透過微調、提煉或領域專屬提示,客製化您的代理人。 透過從真實對話內容與工具結果擷取的數據,編碼代理人行為、角色特定知識及先前表現的模式。
3. 知識與工具
為你的經紀人配備工具。 這些工具讓客服人員能存取企業級知識(例如 Bing、SharePoint 和 Foundry IQ(Azure AI 搜尋服務)),並執行實際操作(透過 Azure Logic Apps、Azure Functions、OpenAPI 等)。 此步驟提升代理擴展能力的能力。
4. 編曲
代理人需要協調。 互連代理程式協調整個生命週期,例如處理工具呼叫、更新對話狀態、管理重試及記錄輸出。
5. 可觀察性
測試並監控代理程式。 Foundry 能在每個步驟擷取日誌、追蹤資料與評估資料。 透過完整的對話層級的全可見性與 Application Insights 整合,團隊能審視每一項決策,並持續優化智能代理。
6. 信任
確保客服人員適合且可靠地應付他們所分配的工作量。 Foundry 採用企業級信任功能,包括透過 Microsoft Entra 進行身份驗證、基於角色的存取控制(RBAC)、內容過濾、加密及網路隔離。 你可以選擇代理如何運作、在哪裡運行,無論是使用平台管理或自帶基礎設施。
結果是一個準備好投入生產的代理:可靠、可擴充且安全部署於整個工作流程中。
為什麼要使用鑄造代理服務?
代理服務為企業環境中部署智能代理提供了生產就緒的基礎。 以下是其各項關鍵能力間的比較:
| 能力 | 代理服務 |
|---|---|
| 對話可見性 | 完整存取結構化對話,包括使用者與代理及代理對代理的訊息。 非常適合使用者介面、除錯和培訓。 |
| 多代理協調 | 內建的支援功能,支持代理人對代理人訊息。 |
| 工具編排 | 伺服器端執行及重試工具呼叫,並結合結構化日誌。 無需手動配線。 |
| 信任與安全 | 整合 內容過濾器 ,協助防止濫用並降低提示注入風險,包括跨提示注入攻擊(XPIA)。 所有產出皆受政策規範。 |
| 企業整合 | 可自帶儲存體、Foundry IQ 索引及虛擬網路以滿足合規需求。 |
| 可觀察性與除錯 | 對話、工具調用及訊息追蹤的完整可追溯性;Application Insights 整合用於使用資料。 |
| 身份與政策控制 | 基於 Microsoft Entra 架構,完整支援 RBAC、稽核日誌及企業條件存取。 |
安全性、隱私與合規
代理服務專為需要強大控制身份、網路、資料處理及安全管理的企業工作負載設計。
- 安全控管:使用整合 內容過濾器 ,協助減少不安全的輸出並降低提示注入風險,包括跨提示注入攻擊(XPIA)。
- 網路隔離與資料駐留控制:使用虛擬網路並自備資源以符合需求。
- 自備資源:使用您自己的 Azure 資源(例如儲存、Foundry IQ 以及用於對話狀態的 Azure Cosmos DB)來滿足合規與營運需求。 請參考「 使用您自己的資源」。
- 負責任 AI 指引:如需更廣泛的建議與治理資源,請參閱 Microsoft Foundry 的負責任 AI。
開始使用 Foundry Agent Service
要開始使用 Agent Service,請在您的 Azure 訂閱中建立一個 Foundry 專案。
如果你是用程式碼編譯,請參考 Microsoft Foundry SDK 裡面有 SDK 選項和指引。
如果是第一次使用這個服務,建議先從 環境設定 和 快速啟動 指南開始。
用所需的資源建立一個專案。 建立專案後,部署相容模型如 GPT-4o。 當您有部署的模型時,您可以開始使用 SDK 進行 API 呼叫以存取 Agent Service。
代理程式的 BCDR
為支援服務韌性,代理服務依賴客戶配置的 Azure Cosmos DB 帳號進行業務持續性與災難復原(BCDR)。 此方法有助於確保您的代理狀態在區域性中斷時能被保存並恢復。
作為 Azure Standard 客戶,你可以配置並管理你自己的單一租戶 Azure Cosmos DB 帳號。 你把所有代理人狀態都存在這個帳戶裡。 你可以透過 Azure Cosmos DB 的原生功能來控制備份和復原。
如果主要區域無法使用,代理程式會自動連接到次要區域內的同一個 Azure Cosmos DB 帳號。 由於 Cosmos DB 會保留所有歷史紀錄,代理程式可以以最小的干擾繼續運作。
配置並維護您的 Azure Cosmos DB 帳號,並設定適當的備份與復原政策。 此舉有助於確保若主要區域無法使用時,系統能無縫銜接。
成本
使用代理服務可能會因部署的模型及專案中使用的 Azure 資源(例如,日誌記錄及連接的任何客戶管理資源)而產生成本。
要了解並管理成本驅動因素,請參閱 「規劃與管理成本」。
故障排除
如果你在開始時遇到阻礙,請檢查以下常見問題:
- 模型在您的地區無法取得:請參閱提供代理人資訊的模型。
- 請求會因配額而受到節流或失敗:請參閱 Agent Service 的配額與限制。
- 您無法存取資源或部署:確認您的角色指派並依 照環境設定操作。
- 您需要除錯工具呼叫或代理程式行為:先從使用 SDK 追蹤代理程式和指標開始。