エージェントのテスト

エージェントは命令、トピック、ツール、知識で構成されるため、各コンポーネントは正しく機能し、意図したとおりに連携する必要があります。 エージェントが会話を通じて顧客を誘導する方法を検証し、会話フローが期待どおりに動作することを確認する必要があります。

テスト画面は、エージェントのハーネスによって異なります。

• GitHub Copilotハーネス - プレビューを使用してエージェントを対話形式でテストし、評価してテスト セットを実行し、Monitor を使用して完了したタスクとアクティビティを確認します。
• 標準ハーネス - [エージェントのテスト ] パネルを使用して会話をテストします。 クラシック オーケストレーションの生成オーケストレーションまたはトピック追跡には、アクティビティ マップを使用します。

このユニットの残りの部分では、標準ハーネス エクスペリエンスでのテストについて説明します。

テスト パネル

エージェントをリアルタイムでテストするには、テスト エージェント パネルを使用します。このパネルを有効にするには、アプリケーションの右上にある [ テスト ] を選択します。 テスト ウィンドウを非表示にするには、もう一度 [ テスト ] ボタンを選択します。

[ エージェントのテスト ] パネルは、ユーザーと同様にエージェントと対話します。 [エージェントのテスト] ウィンドウにテキストを入力すると、ユーザーに表示されるとおりに情報が表示されます。

作成プロセスを通してエージェントをテストすることで、会話が想定どおりに進むかどうかを確認できます。 対話が意図したとおりにならない場合は、対話を変更して保存します。 最新のコンテンツをエージェントのテストに反映して、もう一度テストしてみることができます。

クラシック オーケストレーションのテスト

クラシック オーケストレーションが有効になっている場合、エージェントには複数のトピックが含まれている可能性があります。 特定のトピックで対話する場合、目的のトピックへの誘導にはアプリケーションを使用すると便利です。

このタスクを実行するには、[テスト] パネルの上部にある [ トピック間の追跡 ] を [オン ] に設定します。

トピック間の追跡は、さまざまなトピックを実装するエージェントと共に追跡します。 たとえば、「hello」と入力すると Greeting トピックがトリガーされ、アプリケーションによってトピックが開かれ、その会話パスが表示されます。 各トピックが表示されると、パスの進行状況を確認できます。これは、トピックを評価するのに役立ちます。

生成 AI オーケストレーションのテスト

生成 AI オーケストレーションを有効にしている場合、エージェントは一度に複数のツールまたはトピックを選択できます。 ナレッジ、ツール、トピックが選択されると、エージェントは実行順序を決定するプランを生成します。 このプランと実行中の手順を表示できます。

このタスクを実行するには、[テスト] パネルの上部にある [ テスト時にアクティビティ マップを表示 する] を [オン ] に設定します。

アクティビティ マップは、セッション内のエージェントの入力、決定、出力のシーケンスを視覚的にマッピングしたものです。

変数値のテスト

エージェントをテストするときに、変数の値を確認できます。

1. セカンダリ ツール バーの [変数 ] を選択します。 [変数] パネルが表示されます。

2. テスト タブに切り替え、目的の変数カテゴリを展開します。 会話のテストを進めると、使用中の変数の値を監視できます。

   

生成的回答のテスト

クラシック オーケストレーションでは、エージェントは、許容可能な回答を提供するトピックを識別できない場合に、生成応答をフォールバックとして使用できます。 生成オーケストレーションでは、エージェントは、構成されたナレッジ ソースを計画の一部としてプロアクティブに検索できます。

生成応答能力をテストする際には、生成 AI 用に自分が定義したデータ ソースに関連し、所有しているどのトピックでも回答されない質問をする必要があります。 エージェントでは、定義されているデータ ソースを使用して、正しい回答を見つけます。

回答が表示された後で、さらにフォローアップの質問をすることができます。 エージェントはコンテキストを記憶しているため、改めて説明をする必要はありません。 たとえば、データ ソースとして Microsoft Learn に接続されているエージェントに「Microsoft Excel で使用される IF ステートメントとは」などの質問をした場合、エージェントは IF ステートメント関数に関する詳細を返します。 次に、「例を示してください」という質問した場合、エージェントは、ユーザーがまだ Microsoft Excel について会話をしていると認識し、ユーザーに例を提示します。

次に、エージェントのパフォーマンスを監視する方法を確認します。