Microsoft.Extensions.AI.Evaluation.Quality 名前空間

さまざまなメトリックに従ってアプリ内の大規模言語モデル (LLM) 応答の品質を評価するエバリュエーター クラスが含まれています。

クラス

Name 説明
CoherenceEvaluator

AI モデルによって生成された応答の "一貫性" を評価する IEvaluator 。

CompletenessEvaluator

AI モデルによって生成された応答の "完全性" を評価する IEvaluator 。

CompletenessEvaluatorContext

CompletenessEvaluatorが応答の "完全性" を評価するために使用するコンテキスト情報。

EquivalenceEvaluator

IEvaluatorを介して提供される別の応答で AI モデルによって生成された応答の "等価性" を評価するGroundTruth。

EquivalenceEvaluatorContext

EquivalenceEvaluatorが応答の "等価性" を評価するために使用するコンテキスト情報。

FluencyEvaluator

AI モデルによって生成された応答の "流暢性" を評価する IEvaluator 。

GroundednessEvaluator

AI モデルによって生成された応答の "Groundedness" を評価する IEvaluator 。

GroundednessEvaluatorContext

GroundednessEvaluatorが応答の "Groundedness" を評価するために使用するコンテキスト情報。

IntentResolutionEvaluator

ユーザーの意図を特定して解決する際の AI システムの有効性を評価する IEvaluator 。

IntentResolutionEvaluatorContext

ユーザーの意図を特定して解決する際に AI システムの有効性を評価するために IntentResolutionEvaluator が使用するコンテキスト情報。

RelevanceEvaluator

AI モデルによって生成された応答の "関連性" を評価する IEvaluator 。

RelevanceTruthAndCompletenessEvaluator

AI モデルによって生成された応答の "関連性"、"真実"、"完全性" を評価する IEvaluator 。

RetrievalEvaluator

ユーザー要求に応答して追加のコンテキストの情報を取得する際の AI システムのパフォーマンスを評価する IEvaluator (たとえば、取得拡張生成 (RAG) シナリオ)。

RetrievalEvaluatorContext

追加のコンテキストの情報を取得する際に、 RetrievalEvaluator が AI システムのパフォーマンスを評価するために使用するコンテキスト情報。

TaskAdherenceEvaluator

割り当てられたタスクへの準拠における AI システムの有効性を評価する IEvaluator 。

TaskAdherenceEvaluatorContext

割り当てられたタスクに従って AI システムの有効性を評価するために TaskAdherenceEvaluator が使用するコンテキスト情報。

ToolCallAccuracyEvaluator

提供されたツールの使用における AI システムの有効性を評価する IEvaluator 。

ToolCallAccuracyEvaluatorContext

ToolCallAccuracyEvaluatorが、提供されたツールを使用して AI システムの有効性を評価するために使用するコンテキスト情報。