RetrievalEvaluator クラス

定義

public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

public sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

type RetrievalEvaluator = class
    interface IEvaluator

Public NotInheritable Class RetrievalEvaluator
Implements IEvaluator

継承

Object

RetrievalEvaluator

実装

IEvaluator

注釈

RetrievalEvaluator は、 RetrievedContextChunks を介して提供されるコンテキスト チャンク内に存在する情報がユーザー要求にどの程度関連しているかを測定し、これらのチャンクがどの程度ランク付けされているかを測定します (関連性の低い情報の前に最も関連性の高い情報が表示されます)。 '取得' のスコアを含む NumericMetric を返します。 スコアは 1 から 5 までの数値で、1 はスコアが低く、5 は優れたスコアを示します。

高い取得スコアは、AI システムが正常に抽出され、最も関連性の高い情報を上位にランク付けしたことを示します。外部の知識から偏りを導入したり、事実の正確性を無視したりすることはありません。 逆に、低い取得スコアは、AI システムが最も関連性の高いコンテキスト チャンクをリストの一番上に表示できなかったこと、および/またはバイアスを導入し、事実の正確性を無視したことを示唆しています。

注:RetrievalEvaluator は、AI モデルを使用してその評価を実行する AI ベースのエバリュエーターです。 このエバリュエーターが評価を実行するために使用するプロンプトはモデルに依存しないように設計されていますが、このプロンプト (および結果の評価) のパフォーマンスは、使用されるモデルによって異なる場合があり、小さいモデルやローカル モデルを使用する場合は特に低下する可能性があります。

RetrievalEvaluator使用するプロンプトは、次のモデルに対してテスト (および適切に動作するように調整) されています。 そのため、次の一覧のモデルでこのエバリュエーターを使用すると、最適な結果が得られる可能性があります。 (使用するモデルは、 ChatClientを使用して構成できます)。

GPT-4o