Foundry Agent Service 透明度注意事項

重要

提供非英文翻譯僅為方便。 請參閱 EN-US 本文件的最終版本 以獲得最終版本。

什麼是透明通知?

AI 系統不僅包含技術本身,還包括使用者、受影響者,以及其部署環境。 打造一套符合預期目的的系統,需要了解技術運作方式、其能力與限制,以及如何達到最佳效能。 Microsoft 的透明度備註旨在幫助您了解我們的 AI 技術如何運作、系統擁有者可能做出的選擇如何影響系統效能與行為,以及思考整個系統的重要性,包括技術、人員與環境。 你可以在開發或部署自己的系統時使用 Transparency Notes,或與將使用或受系統影響的人分享。

Microsoft 的透明度備註是 Microsoft 將 AI 原則付諸實踐的更廣泛努力的一部分。 欲了解更多,請參閱 Microsoft AI 原則。

鑄造代理服務的基本原理

簡介

Foundry Agent Service 是一項全託管服務,旨在賦能開發者安全建構、部署及擴展高品質且可擴充的 AI 代理,而無需管理底層的計算與儲存資源。 Agent Service 提供模型、工具和技術的整合式存取,並可讓您使用連接來源的知識 (例如 Bing Search、SharePoint、Fabric、Azure Blob 儲存體和授權資料),以及使用 Azure Logic Apps、Azure Functions、OpenAPI 3.0 指定工具和程式碼解譯器等工具的動作,來擴充 Agent 的功能。 了解更多。

關於代理人的一般免責聲明

代理型 AI 系統設計用來利用代理能力來達成使用者指定的高層目標。 系統應設計為允許使用者適當地納入人工監督,以確保系統依預期執行動作與任務。 若代理人表現出非預期或不受歡迎的行為,使用者應有能力介入並採取適當措施以降低潛在風險。

關於敏感領域代理的免責聲明

使用者在設計與部署代理型 AI 系統時,應謹慎處理敏感領域,因為代理行動不可逆或影響深遠。 這些領域包括但不限於金融與保險、醫療保健、法律及住房。 在創建自主代理 AI 時,還應採取額外的預防措施,詳情見我們的 行為準則。 您有責任遵守所有適用的法律與安全標準,適用於您所使用任何 Foundry 工具與解決方案所建立的代理程式,包括代理程式目錄、底層程式碼範例及類似資源與資訊(詳見下方 選擇使用案例時的考量)。

關鍵術語

以下是 Agent Service SDK 的關鍵組成部分(以及由其驅動的 Microsoft Foundry 入口網站體驗):

術語 Definition
開發人員 建置 Agent 的 Agent Service 客戶。
使用者 使用及/或操作由開發者所建立代理人的人。
代理人 一個使用生成式 AI 模型,並結合工具存取並互動真實世界資料來源、API 及系統的應用程式或系統,以達成使用者指定的目標,如回答問題、執行動作或完全自動化工作流程,無論有無人工監督。
工具 內建或自訂功能,使代理能執行簡單或複雜的任務,或透過代理服務 SDK 或 Foundry 入口網站與資訊來源、應用程式及/或服務互動。
知識工具 此工具使代理能存取並處理來自內部及外部來源的資料,包括超越模型訓練截止日期的資訊,以提升對使用者查詢回應的準確性與相關性。
操作工具 一個工具,讓代理程式能透過整合外部系統、API 和服務,代表使用者執行任務與行動。
執行緒 代理人與使用者之間的對話會話。 執行緒儲存訊息並自動處理截斷,以符合模型的情境。
訊息 由代理人或使用者建立的訊息。 訊息可以包含文字、圖片及其他檔案。 訊息會以清單形式儲存在執行緒中。
執行 根據執行緒的內容啟動代理以開始運行。 代理程式利用其設定與執行緒訊息來呼叫模型與工具執行任務。 作為執行的一部分,代理會將訊息附加到執行緒中。
執行步驟 這是特工在跑步過程中所採取的詳細步驟清單。 代理可以在執行期間呼叫工具或建立訊息。 檢視執行步驟能讓你了解代理人如何得出最終結果。
Workflow 一連串宣告式動作,協調代理自動化複雜流程。 Foundry 中的工作流程可以透過圖形化使用者介面設計、執行並發布。
範例 範本、清單、程式碼範例、工作流程範例或其他範例,展示如何建置代理、應用程式或解決方案,並善用 Microsoft Foundry 代理服務的優勢。

相關能力概念

術語 Definition
代理型人工智慧系統 這是一個總稱,包含開發者在使用 Agent Service 時,可能會在代理中啟用的以下常見功能。
自治 能夠在不同程度的人類監督下,獨立執行行動並控制系統行為。
推理 在理解各種潛在行動方案、任務或與第三方使用者互動的背景與結果的同時,處理資訊的能力。
規劃 能夠將複雜的使用者指定目標與行動拆解為任務與子任務以供執行。 計畫中的任務由一位或多位代理人建立。
記憶 能夠儲存或保留來自先前觀察、互動或系統行為的資訊或脈絡。
適應性 能夠根據從環境或先前經驗中獲得的資訊,改變或調整行為並提升表現。
擴充性 能夠從連接的系統、軟體或平台中呼叫資源(例如,外部知識來源)和執行功能(例如,發送電子郵件),以及使用各種工具。

能力

系統行為

代理服務整合安全管理的資料、開箱即用工具及自動工具呼叫,使開發者能建立能根據使用者設定的高階目標推理、規劃及執行任務的代理。 Agent Service 透過內建記憶體管理和精密介面,與常用計算平台順暢整合,將 LLM 功能與一般用途的程式設計動作連結起來,進而加速 Agent 開發。

代理服務元件與功能示意圖。

代理服務的主要功能包括:

  1. 快速開發並自動化流程: 代理程式需要與合適的工具、系統與 API 無縫整合,才能執行確定性或非確定性操作。
  2. 與豐富的記憶體與知識連接器整合: 客服人員需要管理對話狀態,並與內部與外部的知識來源連結,才能掌握正確的情境來完成流程。
  3. 彈性的型號選擇: 以適合其任務模型建置的代理程式,能更有效整合多種資料類型的資訊,針對特定任務情境產生更佳成果,並在大規模部署中提升成本效益。
  4. 內建企業準備度: 代理人必須能夠支援組織獨特的資料隱私與合規需求,能隨組織需求擴展規模,並可靠且高品質地完成任務。
  5. 支援語音的代理程式: 開發者可透過 Voice Live 為 Foundry 代理程式新增語音輸入與輸出功能。 關於 Voice Live 的預期用途、功能、限制、風險及考量,請參閱 Voice Live 透明說明。

擴充性能力

代理服務的擴充性能力使代理能與知識來源、系統及平台互動,以鞏固並強化代理的功能。 具體來說:

透過豐富多樣的知識來源生態系統,為代理程式輸出提供安全且可追溯的依據

開發者可以配置豐富的知識來源生態系統,使代理能存取並處理來自多個來源的資料,提升回應與輸出的準確性。 這些資料來源的連接器會在你指定的網路參數內運作。 Agent Service 內建的知識工具包括:

  • 檔案搜尋(內建的檢索增強生成(RAG)工具,用於處理與搜尋 Foundry IQ(Azure AI 搜尋服務)、Azure Blob 儲存體 及本地檔案中的私人資料)
  • 使用 Bing 搜尋進行 Grounding (一款使用 Bing 搜尋從網路擷取資訊的網路搜尋工具)
  • SharePoint(內建工具,將組織內部文件連結至 SharePoint,以提供有根據的回應)
  • Fabric Data Agent(內建工具,利用生成式 AI 與 Microsoft Fabric 結構化資料對話)
  • 請攜帶您的授權資料 (一種利用開發者從資料提供者取得的授權 API 金鑰存取專有資料的工具,例如 TripAdvisor)

代理透過代理驗證(OBO)簡化了對 SharePoint 與 Fabric AI 技能的安全資料存取,允許代理僅存取使用者擁有權限的 SharePoint 或 Fabric 檔案。

透過行動工具實現自主行動,無論是否需人工介入

開發者可以透過行動工具將代理程式連接到外部系統、API 及服務,讓代理能代表使用者執行任務並執行行動。 內建於代理服務中的行動工具包括:

  • Code Interpreter(一款能在安全環境中撰寫並執行 Python 程式碼、處理多種資料格式並產生包含資料與視覺化檔案的工具)
  • Azure Logic Apps(一款基於雲端的 PaaS 工具,透過 1,400+ 內建連接器實現自動化工作流程)
  • Azure Functions(一種工具,使代理程式能執行無伺服器程式碼,以執行同步、非同步、長時間執行及事件驅動動作)
  • OpenAPI 3.0 指定工具 (依 OpenAPI 3.0 規範定義的自訂函式,用以安全連接代理程式與外部基於 OpenAPI 的 API)
  • 模型情境協定工具 (透過模型情境協定,透過現有遠端 MCP 伺服器連接到代理程式的自訂服務)。
  • 深度研究工具:(一款可透過 o3-deep-research 模型以及使用 Bing 搜尋進行 Grounding 來執行多步驟網路研究的工具。)
  • 電腦使用:(透過使用者介面與電腦系統及應用程式互動來執行任務的工具)
  • 瀏覽器自動化工具 (一種能透過自然語言提示執行真實瀏覽器任務的工具,使自動瀏覽活動無需人工介入)
  • 影像生成 (用於產生與編輯影像的工具)
  • Agent2Agent(透過現有代理端點,使用代理對代理通訊協定連接到 Foundry 代理的 Foundry 或非 Foundry 代理)。

協調多代理系統

使用代理服務的多代理系統可設計以達成特定情境下的效能自主工作流程。 在多代理系統中,多個具情境感知的自主代理,無論是人類還是人工智慧系統,都會互動或合作,以達成使用者指定的個人或集體目標。 Agent Service 開箱即用,支援多代理協調框架,具備有線相容1,並搭配回應 API,例如 Microsoft Agent Framework,這是一個開源的 SDK 與執行環境,設計讓開發者能輕鬆建置、部署及管理複雜的多代理系統。

在建立新的多代理解決方案時,請先用 Agent Service 建立單例代理,以獲得最可靠、可擴展且安全的代理。 接著你可以利用支援的編排框架,將這些代理一起協調。 Microsoft Agent Framework 持續演進,尋找最佳的協作模式,讓代理(與人類)能夠協同工作。 如果你需要生產支援和不破壞性的變更,在 Microsoft Agent Framework 中展現生產價值的功能則可以移至 Microsoft Foundry Agent Service。

請參閱 Agent Framework 透明度常見問題,了解使用 Microsoft Agent Framework 建立多代理協調時的其他考量與風險。

Foundry 工作流程透過提供視覺化設計器及基於 YAML 的配置,擴展多代理協調,以建立、測試及部署代理流程。 每個工作流程都能協調多個代理,實現模組化自動化與可追蹤性。 工作流程設計器支援版本控制、變更日誌及視覺監控,使管理複雜邏輯更為簡便,並確保透明度。

1線路相容意指 API 能以與現有協定、現有資料格式及通訊標準完全相容的方式進行通訊與交換資料,在此即為 Responses API 協定。 這表示兩個系統可以無縫協同運作,無需更改其核心實作。

使用案例

預期用途

代理服務具有 彈性且不依賴使用情境。 這提供了多種自動化例行任務並開啟知識工作新可能的可能性——無論是發送電子郵件與安排會議的個人生產力專員、持續監控市場趨勢並自動化報告建立的研究專員、能研究潛在客戶並自動篩選的銷售專員,以及主動跟進個人化訊息的客服專員, 或者開發代理,能透過互動式升級你的程式碼庫或演進程式碼庫。 以下是使用 Agent Service 開發的代理的預期用途範例:

  • 醫療保健:精簡的員工入職培訓與基本行政支援: 醫院的行政助理部署一個代理程式,將標準作業程序、員工通訊錄和輪班政策彙整成提供給新進護理師的精簡入職說明;最終材料會由人資審查並核准,在不影響內容品質的情況下減少重複性工作。
  • 零售:個人化購物指導: 當地精品店老闆可以派遣專員,根據顧客表達的需求與過往購買經驗推薦禮物選項,負責任地引導購物者瀏覽複雜的商品目錄,同時避免推銷偏頗或誤導性的資訊。
  • 政府:公民請求分流與社區活動協調: 市府書記會使用代理人來分類進來的服務請求(例如路洞維修)、分配給適當的部門,並彙整簡單的狀態更新;官員會審查並完成溝通內容,以維持透明度與準確性。
  • 教育:協助研究與參考資料蒐集: 教師依賴代理人從可靠來源蒐集適合年齡的文章與資源,用於行星科學課程;教師會核實教材是否符合事實,並調整以符合課程內容,確保學生獲得可信賴的內容。
  • 製造:庫存監督與任務排程: 工廠主管會派遣一名代理人員監控庫存水準、在供應短缺時安排補貨,並優化班次排程;管理層確認代理人的建議,並保留最終決策權。
  • 深度研究工具:在 Azure OpenAI 透明度說明中,了解其預期用途、功能、限制、風險及選擇使用案例模型時的考量。
  • 電腦使用:電腦使用工具帶來重大的安全與隱私風險,包括即時注入攻擊。 在 Azure OpenAI 透明度說明 中,了解更多關於預期用途、能力、限制、風險及選擇使用案例時的考量。
  • 影像生成工具:影像生成工具由 gpt-image-1 模型所賦能。 在 Azure OpenAI 透明度說明 中,了解更多關於預期用途、能力、限制、風險及選擇使用案例模型時的考量。
  • Voice Live/Voice Agent:使用 Voice Live 的代理程式可支援即時語音轉語音體驗。 在 Voice Live 透明性說明中,了解更多關於預期用途、能力、限制、風險及選擇使用情境時的考量。

選擇使用情境時的考量

我們鼓勵客戶在其創新解決方案或應用程式中使用代理服務。 不過,選擇使用情境時,有幾點需要考慮:

  • 避免系統的使用或誤用可能導致個人遭受重大身體或心理傷害的情況。 例如,診斷病患或開立藥物的情境,可能造成重大傷害。
  • 避免系統的使用或誤用可能對生活機會或法律地位產生重大影響的情況 例如,人工智慧系統或代理人可能影響個人的法律地位、法律權利,或其取得信貸、教育、就業、醫療保健、住房、保險、社會福利、服務、機會或所提供條件的情境。
  • 避免可能造成傷害的高風險情境。 代理人所用的模型可能反映訓練資料或提示範例中某些社會觀點、偏見及其他不良內容。 因此,我們提醒不要在高風險情境中使用代理人,因為不公平、不可靠或冒犯行為可能付出極高代價或造成傷害。
  • 仔細考慮在高風險領域或產業中的使用情境,其中 Agent 的行為不可逆轉或會造成深遠影響。 這些產業包括但不限於醫療保健、醫療、金融或法律領域。 例如:進行財務交易或提供財務建議的能力、直接與外部服務互動的能力、施藥或提供健康相關建議的能力、公開分享敏感資訊的能力,或授權關鍵系統的存取權限。
  • 法律與法規考量。 Microsoft 非常重視安全以及遵守法律和法規義務。 我們始終努力遵守適用的法律、法規與標準,開發與部署 AI 技術,包括 Microsoft 負責任 AI 標準。 貴組織有責任評估使用任何 Foundry 工具與解決方案(包括代理人及底層代理人樣本)的安全影響及潛在的法律與監管義務。 AI 回應可能不準確,AI 行動應在人工監督下適當監控。 某些用途與服務可能受法律及監管要求約束,可能需要執照,或不適合所有產業、情境或使用情境。 此外,代理人及其基礎樣品不得以適用法律、法規、服務條款或相關行為準則禁止的方式使用。
  • Microsoft 並未建立、測試或驗證任何第三方系統、API、伺服器、代理程式及您可能連接的服務。 當你連接到第三方(非 Microsoft)系統、API、伺服器、代理程式或服務時,會與該服務共享部分資料,而你的應用程式或代理程式也可能收到資料作為回報。 我們建議檢視將分享的資料,並注意第三方在資料保存與定位方面的做法。 請仔細考慮並管理您的資料是否會超出組織的合規與地理邊界,以及相關影響。 Microsoft 對您或他人使用任何遠端系統、API、伺服器、工具、代理或服務不負任何責任。 您使用這些服務的行為受您與供應商的協議所規範。 您需自行負擔所有使用及相關費用。
  • 瀏覽器自動化工具帶來重大的安全風險,且責任由使用者自行承擔。 瀏覽器自動化工具帶來重大的安全風險。 AI 判斷錯誤,以及網頁上存在惡意或令人困惑的指令,可能導致 AI 執行你或他人不願意的指令,進而危及你或其他使用者的瀏覽器、電腦,以及瀏覽器或 AI 可存取的任何帳號的安全。 包括個人、金融或企業系統。 使用瀏覽器自動化工具即表示您承認,您需對該工具的任何使用以及使用其所建立的任何代理程式負責並承擔法律責任,包括向您提供瀏覽器自動化工具功能的其他使用者,以及透過該工具所產生的代理程式。 

限制

技術限制、操作因素與射程

  • 生成式 AI 模型的限制: 由於代理服務支援多種模型,整體系統會繼承這些模型特有的限制。 在選擇納入經紀人的模型前,請仔細 評估該模型 ,了解其限制。 建議參考 Azure OpenAI 透明度說明,以獲得更多關於生成式 AI 限制且可能與系統相關的資訊,並檢視將生成式 AI 整合進代理應用程式的其他最佳實務。
  • 工具編排的複雜性:AI 代理依賴多種整合工具與資料連接器(例如 Bing Search、SharePoint 和 Azure Logic Apps)。 若這些工具配置錯誤、無法使用,或結果不一致,或同一代理上配置過多工具,該代理的指引可能會變得零散、過時或誤導。
  • 不平等的代表性與支持: 在服務多元使用者群時,若語言變體、區域資料或專業知識領域代表不足,AI 代理可能會表現不均衡。 例如,零售代理人可能會向講代表性不足語言的顧客提供較不可靠的產品推薦。
  • 不透明的決策過程: 當代理人將大型語言模型與外部系統結合時,追蹤其決策背後的「原因」變得相當困難。 使用此類代理的使用者可能會難以理解為何選擇特定工具或工具組合來回答查詢,這會使信任與驗證代理的輸出或行為變得複雜。
  • 不斷演進的最佳實務與標準:代理程式是一項新興技術,關於安全整合、透明工具使用及負責任部署的指引持續演進。 持續掌握最新最佳實務與稽核程序至關重要,因為即使是出於善意的使用,若不持續檢視與精煉,也可能帶來風險。
  • Voice Live/Voice Agent 的限制: 使用 Voice Live 的代理人也會受到自然語言與語音模型的限制。 請參閱 Voice Live 透明說明 ,了解更多限制與負責任的 AI 考量。

系統效能

提升系統效能的最佳實務

  • 評估代理程式效能:評估代理程式在可靠識別使用者請求、選擇適當工具與流程,以及遵守指派任務的能力。 請使用以下 Microsoft Azure AI 評估 SDK 評估器:
    • 意圖解決:衡量代理程式辨識使用者請求的能力,包括其對使用者意圖範圍的判斷、提出澄清問題,並提醒終端使用者其功能範圍。
    • 工具呼叫準確度:評估代理程式選擇適當工具及處理先前步驟中正確參數的能力。
    • 任務依附度:衡量代理的最終回應依據系統訊息及先前步驟對分配任務的遵守程度。
  • 提供可信的資料: 擷取或上傳不受信任的資料到系統中,可能會危及系統或應用程式的安全性。 為降低使用 Agent Service 應用中的這些風險,我們建議記錄並監控 LLM 互動(輸入/輸出),以偵測並分析潛在的提示注入,明確區分使用者輸入以降低提示注入風險,限制 LLM 對敏感資源的存取,將能力限制在最低要求,並與關鍵系統及資源隔離。 了解大型語言模型安全指引中更多緩解措施。
  • 謹慎選擇並整合工具: 選擇穩定、文件詳盡且適合代理人預期用途與目標的工具。 例如,使用可靠的資料庫連接器來查閱事實,或使用經過充分測試的 API 來執行特定動作。 限制工具數量,僅限於真正提升功能的,並明確說明客服應如何及何時使用。
  • 使用 Agent2Agent (A2A) 時,請將已連線的代理,尤其是非 Foundry 代理,視為外部信任邊界: 驗證交換的資料,採用適當的身分驗證與最小權限存取控制,並評估提示詞注入以及敏感性資料遭非預期洩露的風險。
  • 為系統邊界提供使用者可主動設定的控制項: 請考慮建立控制項,讓操作 AI 代理程式的使用者能主動設定允許使用哪些動作或工具,以及代理程式可在哪些領域中運作。
  • 建立即時監督與人為參與流程: 考慮提供使用者足夠的即時控制,以授權、驗證、審查並核准代理系統行為,包括動作、規劃任務、作業環境或領域邊界,以及知識或行動工具的存取權限。 特別是在關鍵或高風險任務時,建議納入使用者必須進行人工審查與核准的步驟。 確保使用者或人工操作員能輕易介入、修正或覆寫客服人員的決策,尤其是在這些決定涉及安全或法律影響時。 欲了解更多資訊,請參見 過度依賴人工智慧。
  • 確保人類決策的可理解性與可追溯性:在採取行動前、中、後提供資訊,協助使用者理解決策理由、判斷介入地點及排除問題。 在系統中納入檢測或記錄,例如來自 Agent Service 的 OpenTelemetry 追蹤,以追蹤輸出,包括提示詞、模型步驟和工具呼叫。 這能重建代理人的推理過程、隔離問題、調整提示詞、精進工具整合,以及驗證指引遵循性。 欲了解更多資訊,請參閱 「使用應用程式洞察追蹤」。
  • 分層安排代理程式指示與指引: 在系統提示字元中將複雜任務拆解成步驟或子指令。 這能幫助代理人更有效地處理多步驟推理,減少錯誤並提升最終輸出的清晰度。
  • 辨識縮放的複雜度門檻: 當單一代理的系統訊息持續難以處理任務的複雜度、廣度或深度——例如經常產生不完整結果、遇到推理瓶頸,或需要大量領域特定知識——系統可能從轉型為多代理架構中受益。 作為最佳實務,監控反應準確度、延遲及錯誤頻率等績效指標。 如果對單一代理的提示進行調整無法帶來更好的結果,可以考慮將工作負載分解成專門的子任務,每個子任務由自己的代理管理。 透過將複雜任務分割(例如將政策研究與政策解釋拆分成獨立代理人),你可以維持模組化,更有效運用專業領域知識,並減少單一代理人的認知過載。

評估並整合代理服務以供您使用

  • 地圖代理人的風險與影響。 在開發或部署代理應用程式前,請仔細考慮預期行動的影響,以及行動或工具使用未如預期運作的後果——例如產生或採取行動不正確資訊,或造成偏見或不公平結果——在不同階段。
  • 確保適當的人為監督與控制。 考慮加入控制措施,幫助使用者及時驗證、審查及/或批准行動,例如檢視計畫中的任務或呼叫外部資料來源,視系統需求而定。 考慮納入控制選項,提供充分的使用者修復系統故障的方法,特別是在高風險情境與使用情境中。 舉例來說,MCP 工具允許您傳遞自訂標頭,例如認證金鑰或結構,以滿足遠端 MCP 伺服器的需求。 在這種情況下,我們建議您檢視所有與遠端伺服器共享的資料,並選擇性地記錄以供稽核。 注意第三方在資料保存與定位方面的做法。
  • 明確定義行動及相關需求。 明確定義哪些行動是允許的(動作邊界)、禁止的,或需要明確授權,有助於你的代理系統如預期運作,並在適當的人類監督下運作。
  • 明確定義預期作業環境。 明確定義代理程式設計以有效運作的預期操作環境(領域邊界)。
  • 確保決策內容清晰明確。 在行動前、中、後提供資訊,或調用工具時,可能有助於使用者理解行動的正當性或行動原因、應用程式為何有特定行為、應在哪裡介入,以及如何排除故障。

了解更多關於負責任 AI 的資訊

了解更多關於鑄造代理服務的資訊