クイック スタート: プロンプト エージェントを最適化する (プレビュー)

このクイック スタートでは、Foundry ポータルの最適化ウィザードを使用して、プロンプト エージェントの指示、関数呼び出しツールの説明、モデルの選択を改善します。 エージェントのバージョン、データセット、エバリュエーターを選択し、オプティマイザーを実行し、生成された候補をベースラインと比較します。

Azure サブスクリプションをお持ちでない場合は、無料アカウントを作成してください。

前提条件

開始する前に、次のものが必要です。

• 配置されたプロンプト エージェントを含む Microsoft Foundry プロジェクト。 作成するには、「 クイック スタート: プロンプト エージェントを作成する」を参照してください。
• 評価モデルと、プロジェクトにデプロイされているサポートされている最適化モデル。 サポートされているモデルについては、「 モデル」を参照してください。
• データセット ソース: エージェント トレース、プロジェクトに登録されている評価データセット、またはアップロードする JSONL データセット。 ウィザードでは列マッピングがサポートされていないため、データセットでは、選択したエバリュエーターに必要な列名を使用する必要があります。

最適化ウィザードを開く

1. Foundry ポータルに移動し、プロジェクトを開きます。
2. [ エージェント] を選択し、最適化するプロンプト エージェントを選択します。
3. [ 最適化 ] タブを選択します。
4. [ 最適化実行の作成] を選択します。

最適化ターゲットを選択する

ターゲットは、評価するプロンプト エージェントのバージョンと候補モデルを定義します。

1. [ターゲット] ステップで、ベースラインとして使用するエージェントのバージョンを選択します。 既定では、最新バージョンが選択されています。
2. 最適化モデル、候補の最大数、評価モデルを選択します。
3. 複数のモデル デプロイ間で候補を評価するには、[モデル 間で比較] をオンにして、含めるモデルを選択します。
4. [データセット] ステップに進みます。

オプティマイザーは、エージェントの命令、関数呼び出しツールの説明、またはモデルの選択を改善する候補を生成できます。 その他のツールの種類は、ツール記述の最適化ではサポートされていません。

評価データセットを選択する

オプティマイザーは、同じデータセットを使用してベースラインと生成された各候補にスコアを付けます。

1. [データセット] ステップで、次のいずれかのオプションを選択します。

   • エージェント トレースからデータセットを生成します。
   • プロジェクトに登録されている既存のデータセットを選択します。
   • デバイスから新しいデータセットをアップロードします。

2. データセットをプレビューし、エバリュエーターに必要な列がデータセットに含まれていることを確認します。

3. [条件] ステップに進みます。

オプティマイザーで保持または改善する一般的な要求、エッジ ケース、動作など、代表的なタスクを使用します。

評価基準の選択

エバリュエーターは、オプティマイザーが各応答をスコア付けする方法を定義します。

1. 抽出条件ステップで、1 つ以上のエバリュエーターを選択します。

   • 組み込みのエバリュエーターを選択し、必要なパラメーターを構成します。
   • 既存のカスタム エバリュエーターを選択します。
   • カスタム ルーブリック エバリュエーターを作成し、それを選択します。

2. 各エバリュエーターがデータセット スキーマと互換性があることを確認します。

3. [確認] ステップに進みます。

実行を確認して送信する

1. レビュー手順で、エージェントとバージョン、データセット、エバリュエーター、エバリュエーターの構成、および候補モデルを確認します。

   Note

   推定コストは、使用制限や最終的な料金ではなく、モデル化された範囲です。 ジョブを送信する前に、計算入力、価格設定の前提条件、および除外事項を確認してください。 詳細については、 エージェント オプティマイザーのコスト見積もりとトークンの使用に関するページを参照してください。

   概要には、 最小値、 推定値、 最大値 が表示されます。 コストの内訳 (見積もり) を展開して、エージェントの実行、スコア付け応答、および機能強化の生成に関する推定呼び出しとコストを確認します。

2. 送信を選択します。

3. 最適化の実行が完了するまで待ちます。 実行は、現在のステータスとともに 最適化の実行 リストに表示されます。

実行時間は、データセットのサイズ、候補の数、選択したモデルによって異なります。

結果を比較する

1. 実行が成功したら、[ 最適化の実行] で選択します。
2. 各候補のスコアをベースライン スコアと比較します。
3. 前後の命令の変更を確認します。
4. エバリュエーターごとのスコアを調べ、複数のモデルを選択した場合は、各モデルの結果を比較します。
5. トークンの使用量やコストが許容できないほど増加することなく、意味のある品質の向上を提供する候補を選択します。

完了した実行の トークン使用状況 ビューでは、フェーズとモデルごとに、測定された入力、出力、および合計トークンがグループ化されます。 これは、最終的な通貨料金ではなくトークン数を報告します。 モデルまたは使用状況の値が不足している場合は、使用量が無料ではなく、属性付けまたは測定されなかったことを意味します。 詳細については、 実行後の測定されたトークンの使用状況に関するページを参照してください。

すべての候補のスコアがベースラインより低い場合は、現在のエージェントを維持します。 オプティマイザーを再度実行する前に、データセット、エバリュエーター、または最適化の設定を変更します。

候補者の昇格

選択した候補を昇格して、プロンプト エージェントの新しいバージョンを作成します。

1. 完了した実行ページで、[ 候補の昇格] を選択します。
2. [ 新しいエージェント バージョンとして候補を昇格] で、昇格する候補を選択します。
3. 現在アクティブなバージョンと、ベースラインに対する選択した候補者のスコアの改善を確認します。
4. エージェント バージョンに昇格 を選択します。

昇格により、候補の構成が最適化された新しいエージェント バージョンが作成されます。 エージェントが特定のバージョンにピン留めされている場合、エージェントの詳細でアクティブなバージョンとして設定するまで、新しいバージョンはトラフィックを受信しません。

学習した内容

このクイック スタートでは、次の操作を行います。

• Foundry ポータルでプロンプト エージェントの最適化の実行を開始しました。
• データセット、エバリュエーター、および候補モデルを選択しました。
• 最適化された候補とプロンプト エージェントのベースラインを比較しました。
• 選択した候補を新しい prompt-agent バージョンに昇格しました。

関連するコンテンツ

• エージェント オプティマイザーの概要
• エージェント オプティマイザーのコスト見積もりとトークンの使用
• クイック スタート: ホストされるエージェントを最適化する
• エージェント トレースを評価データセットに変換する