生成式人工智慧中的可觀察性(經典)

目前正在觀看:Foundry(經典)入口版本 - 切換到新 Foundry 入口網站版本

重要

本文中標示為預覽的項目目前仍在預覽中。 此預覽版未簽訂服務等級協議,Microsoft 不建議用於生產工作負載。 某些功能可能不被支援或功能受限。 欲了解更多資訊,請參閱Microsoft Azure預覽補充使用條款。

AI 應用生命週期需要健全的評估框架,以確保 AI 系統提供準確、相關且可靠的輸出。 若缺乏嚴謹評估,AI 系統有可能產生不準確、不一致、缺乏根據或潛在有害的回應。 可觀察性讓團隊能在整個開發生命週期中,從模型選擇到生產監控,衡量並提升 AI 輸出的品質與安全性。

註

Microsoft Foundry SDK 用於評估與 Foundry 入口網站目前處於公開預覽階段,但 API 通常可用於模型與資料集評估(代理評估仍處於公開預覽階段)。 本文中標示為(預覽)的 Azure AI 評估 SDK 及評估器目前已在各處公開預覽。

什麼是可觀察性?

AI 可觀察性指的是監控、理解並排除 AI 系統在其生命週期中的故障能力。 團隊可以追蹤、評估、整合自動化品質閘門到CI/CD管線中,並收集評估指標、日誌、追蹤及模型輸出等訊號,以掌握效能、品質、安全及營運健康狀況。

核心可觀察性能力

Microsoft Foundry 提供三項核心功能,協同運作,提供涵蓋 AI 應用生命週期的全面可觀察性:

評估

評估者在整個開發過程中衡量 AI 回應的品質、安全性與可靠性。 Microsoft Foundry 內建評估器,涵蓋通用品質指標(連貫性、流暢度)、RAG 專屬指標(貼地性、相關性)、安全與保法(仇恨/不公平、暴力、受保護資料)及代理專屬指標(工具呼叫準確度、任務完成度)。 團隊也能打造符合其領域特定需求的客製化評估器。

關於內建評估器的完整列表,請參見內建評估器參考。

監測

生產監控確保您的部署的 AI 應用程式在真實環境中能維持品質與效能。 Microsoft Foundry 與 Azure 監視器 Application Insights 整合,提供即時儀表板,追蹤營運指標、代幣消耗、延遲、錯誤率及品質分數。 團隊可以在輸出未達品質門檻或產生有害內容時設置警示,促進問題快速解決。

關於如何設定生產監控的詳細資訊,請參閱 「監控您的生成式 AI 應用 」及 「持續評估您的 AI 代理」。

追蹤

分散式追蹤捕捉 AI 應用的執行流程,提供對 LLM 呼叫、工具調用、代理決策及服務間相依關係的可視化。 建立於 OpenTelemetry 標準之上,並與 Application Insights 整合,追蹤功能可用於偵錯複雜的代理行為、識別效能瓶頸,以及理解多步驟推理流程。 Microsoft Foundry 支援包括 LangChain、語意核心 及 OpenAI Agents SDK 等熱門框架的追蹤功能。

關於實作追蹤的指引,請參閱 「追蹤你的應用程式 」和 「用代理程式追蹤」SDK。

什麼是評估員?

評估器是專門的工具,用來衡量 AI 回應在整個開發生命週期中的品質、安全性與可靠性。

關於內建評估器的完整列表,請參見內建評估器參考。

評估人員整合進 AI 生命週期的每個階段,以確保可靠性、安全性與效能。

AI 應用生命週期圖,展示模型選擇、建置 AI 應用及實際操作過程。

AI 應用生命週期評估的三個階段

基礎模型選擇

透過比較不同模型的品質、任務表現、倫理考量及安全性,選擇合適的基礎模型。

可用工具:Microsoft Foundry 基準測試用於比較公開資料集或自有資料模型,以及 Azure AI Evaluation SDK 用於測試特定模型端點。

前期製作評估

部署前,徹底測試確保您的 AI 代理或應用程式已準備好投入生產環境。 此階段透過評估資料集驗證效能,識別邊緣案例,評估穩健性,並衡量任務依從性、紮實性、相關性與安全性等關鍵指標。 若要建置可投入正式環境的代理,並支援多輪對話、工具呼叫與狀態管理,請參閱 Foundry Agent Service。

模型與應用的前期生產評估示意圖,包含六個步驟。

評估工具與方法:

另外,你也可以使用 Foundry 入口 網站來測試你的生成式 AI 應用程式。

後製監控

部署後, 持續監控 確保您的 AI 應用在真實環境中能維持品質:

  • 營運指標:定期衡量關鍵 AI 代理營運指標
  • 持續評估:以抽樣速率評估生產運輸的品質與安全
  • 預定評估:利用測試資料集進行預定品質與安全性評估以偵測系統漂移
  • 排程紅隊測試:透過排程對抗性測試來探查安全與資安弱點
  • Azure 監視器 警示:當輸出未達品質門檻或產生有害內容時的通知

與 Azure 監視器 Application Insights 整合後,Foundry 可觀察性儀表板提供即時的效能、安全與品質指標洞察,促進快速問題解決並維護使用者信任。

評估速查表

目的 流程 參數、指引與樣本
如何設定追蹤? 配置分散式追蹤 追蹤您的申請

Trace with Agents SDK
你在評估什麼? 識別或培養相關的評估者 內建評估器

自訂評估器

Python SDK 範例

C# SDK 範例
你應該使用哪些資料? 上傳或產生相關資料集 合成資料集產生

在雲端執行 AI 紅隊測試
如何進行評估? 執行評估 代理評估執行

遠端雲端運行

本地執行
我的模型/應用程式表現如何? 分析結果 查看評估結果
我該怎麼改進? 分析評估結果並優化代理人 重新執行評估以優化代理,請參見 在入口網站中評估生成式 AI 模型和應用。

分析 評估結果。

區域支援、速率限制與虛擬網路支援

要了解哪些區域支援 AI 輔助評估員、評估執行適用的速率限制,以及如何配置虛擬網路支援以進行網路隔離,請參閱 區域支援、速率限制及虛擬網路支援評估。

定價

可觀察性功能如風險與安全評估及持續評估,依據 our Azure 定價頁面 的消耗量計費。

重要

代理測試環境的評估功能預設自動啟用於所有 Foundry 專案,並包括在基於使用量的計費中。 若要關閉 playground 評估功能,請在代理 playground 中選取 metrics 方塊,並取消選取所有評估工具。

顯示已選取指標方塊之 Agent 遊樂場的 Foundry 入口網站螢幕擷取畫面。