RetrievalEvaluator 類別
定義
重要
部分資訊涉及發行前產品,在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊,不做任何明確或隱含的瑕疵擔保。
評估 IEvaluator AI 系統在回應使用者請求時擷取資訊以提供額外上下文的表現(例如,在檢索擴增生成(RAG)情境中)。
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator
public sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator
type RetrievalEvaluator = class
interface IEvaluator
Public NotInheritable Class RetrievalEvaluator
Implements IEvaluator
- 繼承
-
RetrievalEvaluator
- 實作
備註
RetrievalEvaluator 衡量所提供 RetrievedContextChunks 上下文區塊中資訊與使用者請求的相關程度,以及這些區塊的排名程度(最相關的資訊會出現在較不相關的資訊之前)。 它會回傳包含「檢索」分數的 a NumericMetric 。 分數介於1到5之間,1代表低分,5代表優異分數。
高檢索分數表示 AI 系統成功擷取並排名最相關的資訊,且未引入外部資訊偏見,也未忽略事實正確性。 相反地,低檢索分數則表示 AI 系統未能將最相關的上下文片段置於列表頂端,或引入偏見與忽略事實正確性。
註:RetrievalEvaluator 是一款基於 AI 的評估器,使用 AI 模型來進行評估。 雖然評估者用來執行評估的提示詞設計為模型中立,但該提示(及最終評估)的表現會因所用模型而異,尤其當使用較小或局部的模型時,表現會更差。
該 RetrievalEvaluator 提示詞已針對以下模型進行測試並調整以適合使用。 因此,使用這個評估器搭配以下清單中的模型,通常能產生最佳結果。 (所用模型可透過以下 ChatClient方式配置。)
GPT-4o
建構函式
| 名稱 | Description |
|---|---|
| RetrievalEvaluator() |
評估 IEvaluator AI 系統在回應使用者請求時擷取資訊以提供額外上下文的表現(例如,在檢索擴增生成(RAG)情境中)。 |
屬性
| 名稱 | Description |
|---|---|
| EvaluationMetricNames |
由Name此IEvaluator產生 s 的 s EvaluationMetric。 |
| RetrievalMetricName |
得到 Name 的 NumericMetric 由 返回 RetrievalEvaluator。 |
方法
| 名稱 | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
評估所提供的 |