評估資料集是一組可重複使用的測試案例集合,用以衡量模型或代理人的品質。 評估資料集通常使用 JSONL,每行包含一個 JSON 物件。 本文說明何時使用可重複使用資料集、評估資料如何組織,以及可用的準備方法。
你需要評估資料集嗎?
當你想要一個穩定的測試集,可以針對不同模型、提示符或代理版本重複執行時,先建立一個資料集。 可重用資料集在迴歸測試、CI/CD品質閘門及評估跑程間比較方面表現良好。
你不一定需要資料集。 如果你的 Foundry 代理程式已有回應資料,或你的應用程式會將追蹤資料傳送至 Application Insights,你可以直接在資料所在的位置評估這些資料。 請參閱 「依回應識別評估互動 」及 「評估痕跡」。
Foundry 如何使用評估資料
在 JSONL 資料集中,欄位 messages 代表模型或代理之間的互動。 每則訊息都標示一個角色及其內容。
如果你的資料集包含已完成的回應,Foundry 會直接評估這些回應。 如果你用模型或代理人來執行評估,Foundry 會為每個輸入產生新的回應並評估該回應。 資料集中已儲存的任何回應都會被忽略。
舉例來說,假設有一位使用者無法登入。 客服會詢問出現哪個錯誤,使用者說密碼被拒絕,並建議重新設定密碼。 回合級評估會根據前一訊息作為上下文,對個別客服回應(如密碼重設指引)進行評分。 對話層級評估會評分整個互動。
執行中的 evaluation_level 設定會控制評分的粒度。
資料集及選定的評估者必須支持該層級。 詳情請參見 「選擇評估等級」。
標準欄位與範例請參見 評估資料集結構。
選擇如何準備評估資料
| 情況 | 建議方法 |
|---|---|
| 您擁有精選的評估資料 | 將其以具版本化的 Foundry 資料集形式上傳,或直接內嵌提供小型資料集。 請參見 「準備輸入資料」。 |
| 您希望在執行評估前檢視並重用產生的測試案例 | 從代理定義、內嵌提示或參考檔案產生合成評估資料集。 |
| 你想要一個基於生產流量的可重複使用資料集 | 將追蹤轉換為資料集。 |
| 您想測試模擬的多回合情境 | 產生模擬種子資料集 或撰寫測試案例場景(JSONL),然後 模擬對話。 |
| 您擁有 Foundry 回應 ID | 在不建立資料集的情況下,透過回應 ID 評估互動。 |
| 您希望評估現有的 Application Insights 追蹤 | 評估追蹤記錄,而不建立資料集。 |
| 您希望在同一工作流程中產生查詢、呼叫目標並評估其回應 | 在評估過程中產生合成式查詢。 Foundry 會將產生的查詢儲存為資料集以便重複使用。 |