宣言型エージェントを使用して Microsoft 365 アプリ内のドキュメントを操作する

Microsoft 365 アプリの Copilot エクスペリエンスで宣言型エージェントを使用すると、開いているドキュメントを操作できます。 デフォルトでは、エージェントは開いているドキュメント全体を読み取ることができます。 ユーザーは、開いているドキュメントの選択したセクションのみをエージェントに提供でき、エージェントは開いているドキュメントに画像を挿入できます。

この記事では、宣言型エージェントによるドキュメント操作について説明します。Word または PowerPoint の完全なプラグイン パッケージはサポートされていません。 より広範なプラグイン モデルについては、「Microsoft 365 Copilot のプラグイン」を参照してください。

注

ドキュメントの選択へのアクセスは、Word でのみサポートされています。 開いているドキュメント全体にアクセスして画像を挿入することは、Word と PowerPoint でサポートされています。

開いているドキュメント全体にアクセスする

ユーザーがプロンプトで開いているドキュメントを参照すると、ドキュメントの内容がプロンプトに自動的に追加され、エージェントはそれ以上のユーザー操作なしでアクセスできます。 たとえば、ユーザーはエージェントに "このドキュメントを要約してください" または "このファイル内の実施項目を見つけてください" と入力することができます。

ドキュメント形式

エージェントに提供される情報の形式は、ファイルの種類によって異なります。

Word ドキュメントの場合、エージェントに提供されるコンテキストは、見出し、本文段落、リスト要素など、プレーン テキスト コンテンツのみで構成されます。 ドキュメントの論理フローは逐次チャンクによって保持されるため、エージェントはテキスト パターンに基づいてドキュメント構造を推測できます。 表、グラフ、画像、ページ形式、スタイル設定などのテキスト以外の要素はキャプチャされません。 このようなビジュアル オブジェクトのメンションと隣接するメタデータは、コンテキストの一部として使用できますが、エージェントは実際のコンテンツにアクセスすることはできません。

PowerPoint プレゼンテーションの場合、エージェントに提供されるコンテキストには、表示されるすべてのスライド タイトル、本文テキスト、および利用可能な場合は表や画像の平坦化された説明が含まれます。 スライド フローと論理的な説明は、順次インデックス作成によって維持されます。 画像、複雑なグラフ、背景デザイン、画面切り替え、ハイパーリンク、詳細な発表者ノートなどのテキスト以外の要素はキャプチャされません。 その結果、エージェントはテキストの内容や視覚要素の高レベルの説明を推論することはできますが、リッチ メディア、詳細な視覚的レイアウト、構造化されたグラフィカル データにアクセスすることはできません。

エージェントで開いているドキュメントを使用する

宣言型エージェントは、既定で開いているドキュメントにアクセスできます。 この機能のサポートを有効にするためにエージェントを変更する必要はありません。

API プラグインで開いているドキュメントを使用する

エージェントにカスタム アクションとして API プラグイン が含まれている場合、エージェントは、API の説明とエージェントに与えられた指示に基づいて、開いているドキュメントの量を API に送信します。 詳細については、 ドキュメント コンテンツの API プラグインに関する考慮事項を参照してください。

Access ドキュメントの選択

ドキュメント選択機能を使用すると、ユーザーは開いているドキュメントの現在選択されているセクションを宣言型エージェントに提供できます。 ユーザーは、選択についてエージェントに質問したり、それに基づいてアクションを実行するようにエージェントに依頼したりできます。

たとえば、ユーザーが職務記述書に取り組んでおり、AI によって生成された画像をドキュメントに追加して視覚的な魅力を加えたいとします。 ユーザーはまず、画像のコンテキストとしてドキュメントのセクションを選択します。 ドキュメントのセクションを選択すると、Copilot チャット ウィンドウで [ 選択の追加 ] ボタンが有効になります。

[選択の追加] オプションを示す Word の Copilot のスクリーンショット

ユーザーは選択 の追加 を選択し、選択に基づいて 画像を生成する ようにエージェントに依頼します。

ドキュメントの選択を含むユーザー プロンプトを示す Word の Copilot のスクリーンショット

エージェントは画像を生成し、ユーザーに応答します。

生成された画像を示す Word の Copilot のスクリーンショット

エージェントでドキュメント選択を使用する

宣言型エージェントは、既定でドキュメント選択にアクセスできます。 この機能のサポートを有効にするためにエージェントを変更する必要はありません。

API プラグインでのドキュメント選択の使用

エージェントにカスタム アクションとして API プラグインが含まれている 場合、エージェントは API にドキュメントの選択を提供できます。 エージェントは、API の仕様に基づいてドキュメントの選択を翻訳します。

ドキュメント コンテンツに関する API プラグインの考慮事項

ドキュメント全体またはユーザーの選択について、エージェントはデータを API プラグインに渡す最適な方法を決定します。 ドキュメントまたはユーザーの選択が API に合わせて適切に翻訳されていることを確認する必要があります。

  1. エージェントに特別な指示を追加せずに、エージェントをテストすることから始めます。 ほとんどの場合、エージェントは、追加の構成を行わずに、ドキュメントの内容またはユーザーの選択を API に合わせて適切に翻訳する必要があります。
  2. エージェントが API に合わせて適切に変換しない場合は、プラグイン マニフェストの reasoningstate オブジェクト に指示を追加して、どの形式を選択するかをエージェントに指示します。
  3. さまざまな選択をテストして、エージェントがさまざまな種類と長さのコンテンツを適切に処理することを確認します。

エージェントがドキュメントの内容やユーザー選択を翻訳する方法に影響を与える指示の例を次に示します。 目的の結果を得るために必要な実際の手順は、エージェントと API によって異なります。

逐語的パススルーの例
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
概要/変換の例
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
構造化抽出の例
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.

画像の挿入

画像挿入機能を使用すると、ユーザーはエージェントから開いているドキュメントに画像を挿入できます。 画像は、現在のカーソル位置、文書の上部、または文書の下部に挿入できます。

たとえば、外部イメージ・リポジトリーからイメージを取得するエージェントは、イメージを挿入するためのボタンをユーザーに表示できます。

画像の挿入機能を備えたエージェントを示す Word の Copilot のスクリーンショット

エージェントからの画像の挿入

宣言型エージェントで画像挿入を有効にするには、 アダプティブ カード応答テンプレートを使用する API プラグインが必要です。 アダプティブ カード テンプレートには、ユーザーが画像を挿入するために選択する Action.InsertImage アクションが含まれています。

{
  "type": "ActionSet",
  "actions": [
    {
      "type": "Action.InsertImage",
      "title": "Insert",
      "altText": "An image of people on the beach",
      "url": "https://contoso.com/images/beach.jpeg",
      // fallback MUST be set to "drop"
      "fallback": "drop",
      // Other valid values: "Top", "Bottom"
      "insertPosition": "Selection"
    }
  ]
}

注

サポートされている画像の種類は、.bmp、.gif、.jpeg、.jpg、.png です。