目前正在觀看:Foundry(經典)入口版本 - 切換到新 Foundry 入口網站版本
重要
本文中標示為預覽的項目目前仍在預覽中。 此預覽版未簽訂服務等級協議,Microsoft 不建議用於生產工作負載。 某些功能可能不被支援或功能受限。 欲了解更多資訊,請參閱Microsoft Azure預覽補充使用條款。
AI 應用生命週期需要健全的評估框架,以確保 AI 系統提供準確、相關且可靠的輸出。 若缺乏嚴謹評估,AI 系統有可能產生不準確、不一致、缺乏根據或潛在有害的回應。 可觀察性讓團隊能在整個開發生命週期中,從模型選擇到生產監控,衡量並提升 AI 輸出的品質與安全性。
註
Microsoft Foundry SDK 用於評估與 Foundry 入口網站目前處於公開預覽階段,但 API 通常可用於模型與資料集評估(代理評估仍處於公開預覽階段)。 本文中標示為(預覽)的 Azure AI 評估 SDK 及評估器目前已在各處公開預覽。
什麼是可觀察性?
AI 可觀察性指的是監控、理解並排除 AI 系統在其生命週期中的故障能力。 團隊可以追蹤、評估、整合自動化品質閘門到CI/CD管線中,並收集評估指標、日誌、追蹤及模型輸出等訊號,以掌握效能、品質、安全及營運健康狀況。
核心可觀察性能力
Microsoft Foundry 提供三項核心功能,協同運作,提供涵蓋 AI 應用生命週期的全面可觀察性:
評估
評估者在整個開發過程中衡量 AI 回應的品質、安全性與可靠性。 Microsoft Foundry 內建評估器,涵蓋通用品質指標(連貫性、流暢度)、RAG 專屬指標(貼地性、相關性)、安全與保法(仇恨/不公平、暴力、受保護資料)及代理專屬指標(工具呼叫準確度、任務完成度)。 團隊也能打造符合其領域特定需求的客製化評估器。
關於內建評估器的完整列表,請參見內建評估器參考。
監測
生產監控確保您的部署的 AI 應用程式在真實環境中能維持品質與效能。 Microsoft Foundry 與 Azure 監視器 Application Insights 整合,提供即時儀表板,追蹤營運指標、代幣消耗、延遲、錯誤率及品質分數。 團隊可以在輸出未達品質門檻或產生有害內容時設置警示,促進問題快速解決。
關於如何設定生產監控的詳細資訊,請參閱 「監控您的生成式 AI 應用 」及 「持續評估您的 AI 代理」。
追蹤
分散式追蹤捕捉 AI 應用的執行流程,提供對 LLM 呼叫、工具調用、代理決策及服務間相依關係的可視化。 建立於 OpenTelemetry 標準之上,並與 Application Insights 整合,追蹤功能可用於偵錯複雜的代理行為、識別效能瓶頸,以及理解多步驟推理流程。 Microsoft Foundry 支援包括 LangChain、語意核心 及 OpenAI Agents SDK 等熱門框架的追蹤功能。
關於實作追蹤的指引,請參閱 「追蹤你的應用程式 」和 「用代理程式追蹤」SDK。
什麼是評估員?
評估器是專門的工具,用來衡量 AI 回應在整個開發生命週期中的品質、安全性與可靠性。
關於內建評估器的完整列表,請參見內建評估器參考。
評估人員整合進 AI 生命週期的每個階段,以確保可靠性、安全性與效能。
AI 應用生命週期評估的三個階段
基礎模型選擇
透過比較不同模型的品質、任務表現、倫理考量及安全性,選擇合適的基礎模型。
可用工具:Microsoft Foundry 基準測試用於比較公開資料集或自有資料模型,以及 Azure AI Evaluation SDK 用於測試特定模型端點。
前期製作評估
部署前,徹底測試確保您的 AI 代理或應用程式已準備好投入生產環境。 此階段透過評估資料集驗證效能,識別邊緣案例,評估穩健性,並衡量任務依從性、紮實性、相關性與安全性等關鍵指標。 若要建置可投入正式環境的代理,並支援多輪對話、工具呼叫與狀態管理,請參閱 Foundry Agent Service。
評估工具與方法:
攜帶自己的數據:使用您自己的數據,利用品質、安全或自定義評估方法來評估 AI 代理和應用程式。 使用 Foundry 的評估精靈或 Azure AI Evaluation SDK,在 Foundry 入口網站查看結果。
AI 紅隊代理:AI 紅隊代理利用 Microsoft 的 PyRIT 框架模擬複雜的敵對攻擊,以識別安全與安全漏洞。 最適合與人機協作流程搭配使用。
另外,你也可以使用 Foundry 入口 網站來測試你的生成式 AI 應用程式。
後製監控
部署後, 持續監控 確保您的 AI 應用在真實環境中能維持品質:
- 營運指標:定期衡量關鍵 AI 代理營運指標
- 持續評估:以抽樣速率評估生產運輸的品質與安全
- 預定評估:利用測試資料集進行預定品質與安全性評估以偵測系統漂移
- 排程紅隊測試:透過排程對抗性測試來探查安全與資安弱點
- Azure 監視器 警示:當輸出未達品質門檻或產生有害內容時的通知
與 Azure 監視器 Application Insights 整合後,Foundry 可觀察性儀表板提供即時的效能、安全與品質指標洞察,促進快速問題解決並維護使用者信任。
評估速查表
| 目的 | 流程 | 參數、指引與樣本 |
|---|---|---|
| 如何設定追蹤? | 配置分散式追蹤 |
追蹤您的申請 Trace with Agents SDK |
| 你在評估什麼? | 識別或培養相關的評估者 |
內建評估器 自訂評估器 Python SDK 範例 C# SDK 範例 |
| 你應該使用哪些資料? | 上傳或產生相關資料集 |
合成資料集產生 在雲端執行 AI 紅隊測試 |
| 如何進行評估? | 執行評估 |
代理評估執行 遠端雲端運行 本地執行 |
| 我的模型/應用程式表現如何? | 分析結果 | 查看評估結果 |
| 我該怎麼改進? | 分析評估結果並優化代理人 | 重新執行評估以優化代理,請參見 在入口網站中評估生成式 AI 模型和應用。 分析 評估結果。 |
區域支援、速率限制與虛擬網路支援
要了解哪些區域支援 AI 輔助評估員、評估執行適用的速率限制,以及如何配置虛擬網路支援以進行網路隔離,請參閱 區域支援、速率限制及虛擬網路支援評估。
定價
可觀察性功能如風險與安全評估及持續評估,依據 our Azure 定價頁面 的消耗量計費。
重要
代理測試環境的評估功能預設自動啟用於所有 Foundry 專案,並包括在基於使用量的計費中。 若要關閉 playground 評估功能,請在代理 playground 中選取 metrics 方塊,並取消選取所有評估工具。
相關內容
- 內建評估器參考資料
- 虛擬網路評估支援
使用 Azure AI 評估 SDK - 使用 Foundry 評估生成式 AI 應用程式
- 請參閱 Foundry 入口網站的評估結果
- Foundry 透明度資訊