Copilot チューニング ドキュメント検証エージェント テンプレート (早期アクセス プレビュー)

Microsoft Copilot 用のドキュメント検証エージェント テンプレートは、組織が内部ガイドライン、ポリシー、ブランド標準、規制要件に準拠しているかどうかを確認するのに役立ちます。 非準拠のコンテンツを特定し、違反をリスク別に分類し、アクション可能な修復ガイダンスをドキュメント内で直接提供することで、手動レビュー ワークフローを自動化します。

このエージェントは、正確性、一貫性、監査可能性が重要な、一か八かで反復可能なレビュー シナリオ向けに設計されています。

文書検証エージェント テンプレートの機能

ドキュメント検証エージェントのテンプレート:

• 指定されたルールブックまたはガイドライン ドキュメントからルールを自動的に抽出します。
• それらのルールに照らしてドキュメントを検証します。
• リスク レベル (重大またはアドバイザリ) によって違反を特定して分類します。
• 説明と推奨される修正方法について説明します。
• Word 文書に結果をコメントとして挿入します。

ドキュメント レビューを標準化することで、エージェントはレビュー時間を短縮し、一貫性を向上させ、チーム全体のコンプライアンス リスクを軽減します。

一般的なシナリオ

ドキュメントが次のような厳格または反復可能なルールに従う必要があるワークフローで、ドキュメント検証エージェントテンプレートを使用します。

• 契約レビュー (仕入先契約書、作業明細書)
• 法務およびコンプライアンスのレビュー
• 規制当局の開示
• 財務または医療のコンプライアンス チェック
• 顧客向けコンテンツのブランドとポリシーの遵守

サポートされている機能と制限事項

このテンプレートは、次の機能をサポートしています。

• ユーザー指定のルールブックに対する検証。
• 人間によるレビューによる自動ルール抽出。
• リスクベースの分類と説明。
• 推奨される修正プログラムを含むインライン コメント。
• プロンプトごとに 1 つのドキュメントの検証。

このテンプレートは、以下の機能をサポートしていません。

• マルチモーダル分析 (画像、グラフ、スキャンされたドキュメント)。
• 1 つのプロンプトで複数のドキュメントを検証します。
• ルールブックが提供されていない検証。

テンプレートは、次のファイル形式をサポートします。

• .docx
• .txt
• .html

テンプレートは、PowerPoint、画像、手書きドキュメント、スキャンしたファイルなど、他の形式をサポートしていません。

開始する

ドキュメント検証エージェント テンプレートを使用するには、検証するルールブックまたはガイドライン ドキュメント (.docx または .txt) が必要です。

1. Microsoft Copilot Chat で、ドキュメント検証エージェント テンプレートを使用して新しいチャットを開始します。

   

2. 推奨されるプロンプトの 1 つを使用するか、独自のプロンプトを入力して、ガイドラインまたはルールブック (.docx または .txt)、および検証するドキュメント (.docx または .txt) を指定します。

   

3. 残りの処理はエージェントが行います。 ルールブックからルールを体系的に抽出し、各ルールに照らしてドキュメントを検証して、コンプライアンス違反を特定し、修正を提案します。

   

4. エージェントは、説明、各違反のリスク (重大/アドバイザリ) レベル、および推奨される修正とともに違反を強調したコメントが挿入されたドキュメントで応答します。

   

チューナブル エージェントの概要

Document Validation エージェントテンプレートを調整して、organization 固有のレビューとコンプライアンスのニーズに適合させることができます。 チューニングを使用すると、次のことが可能になります。

• ルールブックとガイドラインを埋め込み、エージェントが独自の基準に従ってドキュメントを検証できるようにします。
• コメントと要約のルールのトーンと重要性を制御します。
• ドメイン固有の例でエージェントをトレーニングすることで、精度を向上させます。
• シナリオの目標に基づいてエージェントの品質を評価します。

エージェントをチューニングすることで、次のことができます。

• セッション間でルールとガイドラインを保持します。
• フィードバックのトーンと重大度をカスタマイズします。
• ドメイン固有の例を使用して正確性を向上させます。
• シナリオ固有の目標に対してエージェントの品質を評価します。

なぜチューニングするのですか?

すべてのorganizationには、異なるルール、用語、リスクの優先順位があります。 チューニングにより、エージェントはルールを一貫して適用することで、organizationのレビュー担当者のように考えることができます。 チューニングは、一か八かのドキュメントのエラーとレビュー時間を削減し、チームやワークフロー全体にコンプライアンスチェックを拡張するのに役立ちます。

エージェントは、次の 2 つのステージで調整できます。 シナリオに基づいて、エージェントに適したチューニング ステージを選択します。

• コンテキストの調整: 完全なトレーニングなしで、永続的なルールとトーンの迅速なカスタマイズが可能。
• モデルの調整: 最高の精度と再現率が必要なユース ケースの例を使用した高度な微調整。

チューナブルエージェントは目標ベースの評価をサポートしているため、一般的な精度スコアだけでなく、organizationの優先事項に沿った指標を使用して成功を測定できます。 チューニングの各ステージで、定義した目標に基づいてエージェントの品質を評価できます。

コンテキストの調整

コンテキスト の調整 を使用して、モデルを完全に微調整せずにエージェントの動作をカスタマイズできます。 最小限のセットアップで永続的なルールと一貫したレビュー動作を必要とするチームに最適です。

Tune Context は、次の場合に使用します。

• 繰り返し使用できるようにエージェントにルールを書き込む必要がある
• 抽出されたルールを確認して編集する
• トーン、verbosity、リスク レベルを構成する必要がある
• モデルの微調整に十分なデータがまだありません

Tune Context を使用すると、次のことができます。

• ルールブック、ポリシー、またはガイドラインを永続的なコンテキストとして保存する
• 抽出されたルールを確認、編集、追加、または削除する
• リスク レベルを割り当てる (重大またはアドバイザリ)
• トーンを構成する (フォーマル、フレンドリー、アドバイザリ)
• 評価を再実行し、時間の経過と共にコンテキストを更新する
• すぐに使用できる検証エージェントを organization 内の他のユーザーと共有する

ルールブックのベスト プラクティス

最良の結果を得るには、ルールブックで次の方法を使用します。

• 明確、簡潔、明確なルールを使う
• あいまいなガイダンスやオープンエンドのガイダンスは避けてください
• 可能な場合は明示的な条件を含める
• 影響の大きいルールを重大にマークする
• 待機時間を短縮するために、大きなルール セットを避けます

ドキュメント検証エージェント テンプレートで Tune コンテキストを使用する

ドキュメント検証エージェント テンプレートで Tune Context を使用するには:

1. エージェントの作成: ドキュメント 検証テンプレートを使用して、エージェント ストアから新しいエージェントを作成します。

2. エージェントの調整: 新しいエージェントに移動し、[エージェントの調整] を選択して、右側のパネルで調整エクスペリエンスを開始します。 [ コンテキストの調整] を選択します。

3. 目標を指定する: エージェントの主な目標、ビジネス ドメイン、およびエージェントが検証する一般的なドキュメントを表す少なくとも 1 つのサンプル ドキュメントを説明します。 この情報は、エージェントを独自のビジネス ニーズに合わせて調整するのに役立ちます。 最良の結果を得るために、明確な目標と高品質のサンプル ドキュメントを提供します。 作業が完了したら、[保存] を選びます。

   

4. 目標とサブ目標のレビュー: エージェントは、目標を正しく理解するための明確な推奨事項を生成します。 それらをレビューして、ユースケースに対するエージェントの目的を正確に表していることを確認してください。

   • Capture any unique rules or guidelines your organization follow for this use case.
   • 必要に応じて、目標やサブ目標を追加、編集、削除します。 作業が完了したら、[保存] を選びます。

   

5. 評価基準の確認: エージェントは、エージェントにとって良いパフォーマンスが何を意味するかを定義する評価指標を生成します。 エージェントのパフォーマンスは、これらのメトリックで測定されます。

   • これらのメトリックは、定義した目標とサブ目標に基づいてカスタマイズされます。 それらを確認して、成功がどのようなものかを定義していることを確認してください。
   • このユース ケースに対して organization で必要とされる特定の期待値を追加します。 これらの基準には、この薬剤の出力が遵守しなければならない特定の要件が含まれている必要があります。
   • 必要に応じて追加、編集、または削除します。 完了したら、[保存] を選択します。

6. ルールブックを指定する: 最後の手順として、検証エージェントのコンテキストを追加します。 ドキュメントの検証に使用するルールブックまたはガイドラインを指定し、[ ルールの生成] を選択します。

   

7. 生成されたルールを確認する: エージェントは、ルールブックまたはガイドライン ドキュメントからルールを抽出します。 これらのルールは、ルールとサブルールに分類されます。 それらを確認して、organizationのガイドラインを正確に表していることを確認します。 ルールまたはサブルールを追加、編集、または削除します。 作業が完了したら、[保存] を選びます。

8. カスタム評価: チューニング コンテキスト が完了すると、チューニング エクスペリエンスは評価を自動的に開始します。 このプロセスは非同期です。 右側のパネルを閉じて、調整したエージェントの使用を開始できます。

   

9. 評価結果: 評価結果が利用可能になったときにメール通知を受け取ります。 定義したすべての評価メトリックのスコアが説明的な洞察とともに表示されます。 結果ページの下部にある [評価ファイルの表示 ] を選択すると、詳細な評価結果を確認できます。

   

10. エージェントの共有: 新しく調整したエージェントをorganization内のユーザーと共有できます。 調整されたエージェントを使用すると、調整されたガイドラインを使用してドキュメントを検証できます。

コンテキスト チューン済みエージェントを使用する

コンテキスト チューン エージェントを使用するには:

• 調整されたエージェントとChatして開始し、検証するドキュメントを提供します。 調整されたエージェントを使用する場合、チャットでルールブックを指定する必要はありません。
• エージェントがドキュメントをスキャンし、コンテキスト調整されたルールに照らして検証して、違反を特定します。
• エージェントは、違反を強調し、説明、各違反のリスク (重大/アドバイザリ) レベル、および推奨される修正を提供するコメントが挿入されたドキュメントで応答します。
• エージェントは、検証のためにチャットにアップロードされたルールブックを無視し、使用しません。 エージェントをいつでも再度コンテキスト チューニングおよび評価して、コンテキスト内のルールを追加または編集できます。

使用例

• コントラクト レビュー: サプライヤー契約のチェックのために、SOW プレイブックを Microsoft Store に毎週発行します。
• コンプライアンス: 迅速な開示検証のために、規制ガイドラインを準備してください。
• ポリシー レビュー: 複数のドキュメントに一貫したトーンとリスクの設定を適用します。

モデルの調整

チューン モデルは、最も高度なカスタマイズ オプションです。 organizationのデータを使用して基になるモデルを微調整し、より高い精度と再現率を実現します。

Tune Model は、次の場合に使用します。

• ルールは複雑または微妙です。
• このシナリオには、高い規制リスクまたは法的リスクが伴います。
• コンテキストの調整では十分な精度が得られません。
• 十分なトレーニング データがあります。

必須データ

Tune Model を使用するには、次のものが必要です。

• ルールブック: トレーニングと評価に使用される明確なルールまたはポリシー。 ルールブックには、.docx、.txt、または .html を指定できます。
• 例: 理想的なコンプライアンスを実証する、それぞれ 1 ページ以上の違反のないドキュメントが少なくとも 20 件。 ドキュメントには、.docx、.txt、または .html を指定できます。

Tune モデルでは次のことができます。

• 目標で指定した好みに応じて、再現率と精度のバランスをとった高精度の検証レビューを提供します。
• クリティカル違反とアドバイザリー違反のリスク認識を提供します。
• トレーニング中に学習した知識に対して単一のテキストベースのドキュメントを検証します。
• 繰り返し使用できるように、ルールとトーン設定を保持します。 organization内のユーザーと共有して使用できます。

評価ルーブリック

モデルチューンされたエージェントを評価するには、次を使用します。

• 重大な違反の再現: この評価により、モデルがすべての重大な違反を確実にキャッチし、非常に重要な違反の見逃しを最小限に抑えます。
• アドバイザリ違反の精度: この評価により、フラグが設定された違反に関連性があることが確認され、提案された問題と修正の有用性が最大化されます。
• Tune Context からのユーザー定義の目標とメトリック。

モデルの調整のベスト プラクティス

• ルールブック: ルールブックに明確で明確なルールが含まれていることを確認します。 複雑なルールには、具体的な評価基準を含めることを検討してください。 待機時間を最小限に抑えるために、ルールブックが大きすぎることは避けます。
• サンプル ドキュメント: サンプル ドキュメントの数が多いほど、モデル トレーニングが向上します。 例がシナリオを表すものであり、さまざまなニュアンスが含まれていることを確認します。 たとえば、さまざまな種類の契約のコンプライアンスを評価するモデルを構築する場合は、トレーニング用にすべての種類の契約文書の十分な例を含めます。
• ルールの重要度: チューニング プロセス中に抽出されたルールを確認するときに、重要なルールを Critical としてマークします。 この手順では、非常に重要なルールと他のルールの間のバランスを正しく取ることで、モデルのパフォーマンスを向上させます。
• 検証: 微調整が完了したら、新しいモデルを保存する前に評価ルーブリックを検証します。 organization 用に公開する前に、サンプル ドキュメントを検証して、調整されたエージェントをテストします。

Document Validation エージェントで Tune モデルを使用する

Document Validation エージェントで Tune モデルを使用するには:

1. エージェントを調整。 ドキュメント検証エージェントテンプレートから作成した特殊なドキュメント検証エージェントで、 Tune エージェントを選択します。 [ モデルの調整 ] オプションに移動します。

   注:

   [Tune Model] オプションのロックを解除するには、[Tune Context] ステップを完了する必要があります。

2. データを提供します。 サンプル ドキュメントをアップロードします。 理想的な例であり、ルールブックのすべてのルールまたはポリシーに従い、違反がない、それぞれ 1 ページの長さの高品質の代表的なドキュメントを 少なくとも 20 件提供します。

   • ファイルが含まれるフォルダーを選択してください。 個々のファイルを個別にアップロードすることはできません。 最大 20 個のフォルダーをアップロードできます。
   • ドキュメントの数が多いほど、モデル トレーニングの結果が向上します。
   • チューニングにより、ドキュメントが抽出され、モデル トレーニング用に準備されます。 このプロセスには 1 〜 6 時間かかる場合があります。
   • チューン コンテキスト中に指定したルールブックは、モデルのチューニングにも使用されます。 Tune Modelを開始する前に、Tune Contextステップでルールブックを編集できます。

3. アクセスのレビュー。 微調整されたエージェントを使用できるユーザーを構成します。 前の手順で選択したファイルに基づいて、いくつかのセキュリティ グループを選択します。

   • 基になるファイルにアクセスできるユーザーは、微調整されたモデルにアクセスできます。
   • エージェントにアクセスできるユーザーとグループに推奨されるオプションのいずれかを選択します。
   • チューニングにより、選択したアクセス グループに基づいてトレーニング データが準備されます。 このプロセスには 1 〜 6 時間かかる場合があります。

4. 微調整を開始します。 指示に従って微調整を開始します。

   • [ 微調整の開始] を選択すると、プロセスが完了するまでに 24 〜 72 時間かかることがあります。 モデルのトレーニングが完了すると、評価は自動的に開始されます。
   • モデルのトレーニングが完了し、評価結果が準備できたら、メール通知が届きます。

5. 評価指標を確認し、公開を決定します。 評価メトリックは、新しく微調整されたモデルで更新されます。

   • 微調整前と後のメトリックの比較を表示できます。
   • 結果を確認し、[ はい、満足したらチューニングされたモデルを使用します ] を選択してから、[ 発行] を選択します。
   • このアクションにより、新しく微調整されたモデルがデプロイされ、新しい微調整されたモデルを使用するようにエージェントが更新されます。

モデルチューンされたエージェントを使用する

モデルチューンされたエージェントを使用するには:

• エージェントとChatし、検証したいドキュメントをアップロードします。 調整されたエージェントを使用する場合、チャットでルールブックを指定する必要はありません。
• エージェントがドキュメントをスキャンし、トレーニング中に学習したルールに照らして検証して、違反を特定します。
• エージェントは、説明、各違反のリスク (重大/アドバイザリ) レベル、提案された修正とともに違反を強調表示するコメントが挿入されたドキュメントで応答します。
• エージェントは、検証のためにチャットにアップロードされたルールブックを無視し、使用しません。

モデルチューニングされたエージェントの制限

モデルチューニングされたエージェントには、次の制限があります。

• 微調整後にルールを変更することはできません。
• エージェントは現在再トレーニングをサポートしていません。
• エージェントはマルチモーダル検証をサポートしていません。
• 1 つのプロンプトにつき 1 つのドキュメントのみを検証できます。

チューナブル エージェントの評価

各チューニング・ステージで、カスタマイズされた基準を使用してエージェントを評価できます。 organization's expectationsに基づいて、これらのカスタム評価基準を定義します。

• 目標

  • エージェントのタスクの調整目標を説明します。 1 つまたは複数の目標を設定できます。
  • これらの目標を使用して、エージェントの動作を定義し、サブ目標と評価メトリックを生成します。

• サンプル ファイル

  • エージェントが検証する一般的なドキュメントを表すサンプル ドキュメントを提供します。 少なくとも 1 つのドキュメントが必要です。

• サブ目標とメトリック

  • サブ目標を含む明確な推奨事項は、目標に基づいて生成されます。 それらをレビューして、エージェントの目的を正しく表していることを確認してください。 目標またはサブ目標を追加、編集、削除できます。
  • 評価指標は、サブ目標に基づいて生成されます。 メトリックを確認、追加、編集、または削除できます。
  • 提供するサブ目標とサンプル ファイルは、メトリックに対するエージェントの動作を評価する評価データを生成するために使用されます。

• ルールブック: ガイドラインまたは標準

  • ドキュメント検証エージェント テンプレートがドキュメントの検証に使用するルールブックまたはガイドラインを指定します。 ルールブックは、「 モデルの調整」を選択する前にいつでも編集または追加できます。

• 評価データ

  • システムは、定義したサブ目標、サンプル ファイル、およびメトリックに基づいて評価データを自動的に生成します。
  • システムは、評価データを使用して調整されたエージェントを評価し、メトリックに対してスコア付けします。

• 評価結果

  • 定義した評価メトリックのスコアを表示し、モデルチューンされたエージェントを公開する前に、各チューニング ステージの後にデルタの改善を確認します。 改善点を強調し、評価スコアからの主な結果を要約した簡単な説明的分析情報を表示できます。
  • システムは、各チューニング ステージの後に評価スコアを自動的に生成して更新します。 このプロセスは非同期です。 エージェントは、評価がバックグラウンドで実行されている間に使用できます。

評価結果には、チューニング ステージ間での品質スコアと差分の改善が示されるため、エージェントを公開する準備ができる時期を判断するのに役立ちます。

エージェントの共有とガバナンス

調整されたドキュメント検証エージェントを特殊エージェントとして保存し、organization全体で共有できます。

• エージェント所有者のみがエージェントをチューニングまたは変更できます。
• 他のユーザーはエージェントを使用できますが、構成を変更することはできません。
• すべてのデータは、Microsoft 365 テナントの境界内に留まります。

よくあるご質問 (FAQ)

一度に複数のドキュメントを検証できますか?

一度に複数のドキュメントを検証することはできません。 個別のプロンプトで各ドキュメントを検証する必要があります。

チューニング後にルールを更新できますか?

コンテキスト チューニングされたエージェントを更新できます。 微調整後にモデルでチューニングされたエージェントを変更することはできません。

エージェントは数値の検証をサポートしていますか?

ドキュメント検証エージェントテンプレートは、ルールに数値のしきい値が含まれている場合の数値検証をサポートします。

ルールブックが大きい場合はどうなりますか?

ルールブックが大きいと、ルールの抽出と検証中の待機時間が長くなる可能性があります。

コンテキストの調整とモデルの調整を使用すべきなのはどのような場合ですか?

• 完全なモデル トレーニングを行わずに永続的なルールとトーンの設定が必要な場合は、 Tune Context を使用します。 迅速なセットアップとセッションおよびユーザー間での再利用に最適です。

• 特に規制やコンプライアンスのシナリオでルールの高精度と再現率が必要で、トレーニング用にそれぞれ少なくとも 1 ページの長さの 20+ の例がある場合に、Tune Model を使用します。

サポートされるファイル形式は何ですか?

• サポート対象: .docx、.txt、.html。
• サポートされていません: .pptx、画像、スキャンされたドキュメント。

エージェントの出力が不正確であると思われる場合はどうすればよいですか?

次のことを確認します。

• 正しいルールブックをアップロードしました。
• ルールを確認し、重要度レベルを設定しました。
• トーンの環境設定を正しく指定しました。

調整されたエージェントについては、評価メトリックを確認します。 微調整されたエージェントについては、トレーニング用の高品質のサンプル ドキュメントを提供してください。 最適なパフォーマンスを得るには、コンテキストの調整とモデルの調整で説明されているベスト プラクティスに従います。

自分のデータは安全ですか?

すべてのデータは Microsoft 365 テナント内に残され、安全です。 チューニングは完全に自動化されており、ターンキー環境で行われます。

関連コンテンツ

• Copilot チューニングの概要