Microsoft Foundry 中的評估資料集

評估資料集是一組可重複使用的測試案例集合,用以衡量模型或代理人的品質。 評估資料集通常使用 JSONL,每行包含一個 JSON 物件。 本文說明何時使用可重複使用資料集、評估資料如何組織,以及可用的準備方法。

你需要評估資料集嗎?

當你想要一個穩定的測試集,可以針對不同模型、提示符或代理版本重複執行時,先建立一個資料集。 可重用資料集在迴歸測試、CI/CD品質閘門及評估跑程間比較方面表現良好。

你不一定需要資料集。 如果你的 Foundry 代理程式已有回應資料,或你的應用程式會將追蹤資料傳送至 Application Insights,你可以直接在資料所在的位置評估這些資料。 請參閱 「依回應識別評估互動 」及 「評估痕跡」。

Foundry 如何使用評估資料

在 JSONL 資料集中,欄位 messages 代表模型或代理之間的互動。 每則訊息都標示一個角色及其內容。

如果你的資料集包含已完成的回應,Foundry 會直接評估這些回應。 如果你用模型或代理人來執行評估,Foundry 會為每個輸入產生新的回應並評估該回應。 資料集中已儲存的任何回應都會被忽略。

舉例來說,假設有一位使用者無法登入。 客服會詢問出現哪個錯誤,使用者說密碼被拒絕,並建議重新設定密碼。 回合級評估會根據前一訊息作為上下文,對個別客服回應(如密碼重設指引)進行評分。 對話層級評估會評分整個互動。

執行中的 evaluation_level 設定會控制評分的粒度。 資料集及選定的評估者必須支持該層級。 詳情請參見 「選擇評估等級」。 標準欄位與範例請參見 評估資料集結構。

選擇如何準備評估資料

情況 建議方法
您擁有精選的評估資料 將其以具版本化的 Foundry 資料集形式上傳,或直接內嵌提供小型資料集。 請參見 「準備輸入資料」。
您希望在執行評估前檢視並重用產生的測試案例 從代理定義、內嵌提示或參考檔案產生合成評估資料集。
你想要一個基於生產流量的可重複使用資料集 將追蹤轉換為資料集。
您想測試模擬的多回合情境 產生模擬種子資料集 或撰寫測試案例場景(JSONL),然後 模擬對話。
您擁有 Foundry 回應 ID 在不建立資料集的情況下,透過回應 ID 評估互動。
您希望評估現有的 Application Insights 追蹤 評估追蹤記錄,而不建立資料集。
您希望在同一工作流程中產生查詢、呼叫目標並評估其回應 在評估過程中產生合成式查詢。 Foundry 會將產生的查詢儲存為資料集以便重複使用。

後續步驟