リアルタイムエージェントの設定

Note

本記事では 、標準ハーネスで駆動されるエージェントやエージェントフローで使用される機能について説明します。

リアルタイムエージェントを展開するには、リアルタイムモデルを有効にし、コアエージェント設定を設定し、必要なチャネル固有の機能を設定します。 同じエージェントを音声チャンネル、デジタルメッセージングチャンネル、またはその両方に展開できます。

Note

リアルタイムエージェントはデジタルメッセージングチャネルのプレビュー段階です。 プレビュー機能は運用環境での使用を想定しておらず、機能が制限されている可能性があります。 これらの機能には 、追加の使用条件が適用されます。 Microsoftは公式リリース前にこれらのツールを提供し、顧客が早期アクセスを得てフィードバックを提供できるようにしています。

リアルタイムエージェントの設定と有効化

  1. 新しいエージェントを作成し、説明の名前やエージェントの目的など、その基本的な詳細を構成します。

  2. エージェントの 音声 設定に行き、「 音声を有効にする」をオンにしてください。 ボイスタイプリアルタイムを選択します。

    Important

    この設定は、1 回限り選択できます。 リアルタイムを選択した後は、基本的なエージェントタイプに戻すことはできません。 Basic Agentを使うには、新しいエージェントを作成します。 この設定は、デジタルメッセージングチャネルのエージェントを使っていても必須です。

  3. 使いたいモデル、 GPT-RealtimeGPT-Realtime-Mini、または GPT-5-Chat(プレビュー)を選択してください。 GPT-5-Chat(プレビュー)は、Microsoft Neural Text-to-Speech(TTS)を通じて音声応答を生成するテキストLLM音声モデルです。
    これらのモデルは 、サポート地域や展開の考慮事項に基づいてどのように動作するかについて詳しく学びましょう。 以下の表は、異なるモデルを使用できるシナリオを示しています。

    Scenario GPT-Realtime GPT-5-Chat(プレビュー)
    会話のスタイル ネイティブ音声間相互作用 音声は推論のためにテキストに変換され、その後再び音声に合成されます
    Latency 自然な会話における最低遅延 レイテンシは GPT-Realtime よりも高い
    音声カスタマイズ リアルタイム音声エージェント向けの組み込みリアルタイム音声オプションをサポートしています Microsoft Neural Text-to-Speech(TTS)をサポートし、より広範な音声カタログやカスタム音声モデルを含みます
    ブランドボイス体験 カスタマイズオプションは限られています カスタムまたはブランドのボイス体験が必要な時におすすめです
    地域展開の柔軟性 対応可能なリアルタイムモデル領域に限定 音声認識およびTTSサービスによる柔軟性の向上
    最も適しているデータ 自然で低遅延の音声会話と自由度の高いやり取り 高度な音声カスタマイズ、カスタム音声、コンプライアンス要件、または地域ごとの展開柔軟性を必要とするシナリオ

    Tip

    • 自然な会話の質と低遅延が主な要件である場合は 、GPT-Realtime を活用してください。
    • 遅延やリソース使用を抑えて高速な音声操作が必要なシナリオには GPT-Realtime-Mini(プレビュー )を使いましょう。
    • 音声カスタマイズ、カスタムボイスモデル、展開の柔軟性が応答遅延よりも重要な場合は 、GPT-5-Chat(プレビュー )を使用してください。
  4. エージェントのセキュリティ設定に移動し、[認証なし] を選択します。

知識とツール

ナレッジとツールを使用するようにエージェントを構成できます。 詳細については、 ナレッジ ソースの概要カスタム エージェントへのツールの追加ツール、ナレッジ、MCP、API に関するページを参照してください。

ネストされたエージェント (プレビュー)

リアルタイムエージェントは 子供エージェントのみをサポートします。

Important

子エージェントの説明がトピックの説明と重複しないようにします。 エージェントの命令で呼び出し順序を明示的に定義します。

トピック

リアルタイムエージェントはCopilot Studioで設定されたすべてのトピックをサポートします。 トピックを使って挨拶、ビジネスルール、エスカレーションなどの決定論的な行動を定義し、選択したモデルは実行時に会話応答を管理します。 詳細については、「 会話を制御する方法を選択する」を参照してください。

ベスト プラクティス

  • トピックは、決定論的な動作が必要な場合にのみ使用します。

  • 最初の応答が最も速い場合は、あいさつメッセージで静的テキストを使用します。 変数と式を含む動的メッセージでは、初期待機時間が長くなります。

  • リアルタイムエージェントモデルで挨拶を処理したい場合は、 会話開始 トピックを無効にしてください。 それ以外の場合、 会話の開始 トピックで構成された案内応答は、音声モデルの案内応答の代わりに再生されます。

  • リアルタイムエージェントモデルに一般的な会話やフォローアップの質問を任せましょう。

  • 転送や通話の終了など、エラー のトピックに明示的なアクションを含めます。 メッセージのみのエラー処理では不十分です。 決定論的な次のステップがなければ、顧客はボイスエージェントの沈黙やメッセージングチャネルの通話が詰まることがあり、混乱や顧客体験の悪化を招く可能性があります。

  • 明示的なトピックとツールの説明を使用して、データ収集の所有権を宣言します。 詳細については、「 効果的なトピックとツールの説明を記述する」を参照してください。

トピック ノードのサポート

以下のリストはリアルタイムエージェントにおけるトピックサポートを説明します。

条件ノード

特徴 サポート
If/Else 構文分岐 サポート
Power Fx 式 サポート
スロット充填の再処理 サポート

メッセージ ノード

機能 サポート
基本的なメッセージ サポート
メッセージのバリエーション サポートされています
変数の挿入 サポートされています
Ssml 音声チャンネルのみ
リッチメディア/アダプティブ カード  デジタルメッセージングチャネルのみでサポートされています。 この機能は プレビュー段階です。 
クイック応答 デジタルメッセージングチャネルのみでサポートされています。 この機能は プレビュー段階です。 

質問ノード

特徴 サポート
テキストの入力を求める サポートされています
自動保留 サポートしていません
スロットの充填 サポートされています
スキップ動作/貪欲スロットの充填 サポートされています
再プロンプト/再試行 サポートされています
応答処理が無効です サポートされています
トピックの中断 サポートされています
割り込み 音声チャンネルのみでサポートされています。
カスタム リプロンプトメッセージ サポートされています
DTMF 入力 音声チャンネルのみでサポートされています。
無音検出 音声チャンネルのみでサポートされています。

HTTP ノード

機能 サポート
HTTP メソッド: GET、POST、PUT、PATCH、DELETE サポート
URL エンドポイント サポート
ヘッダーとペイロード サポート
応答の解析とスキーマ サポート
変数マッピング サポート
エラー処理 サポート

ツール ノード

特徴 サポート
Power Automate フロー サポートされています
ツールの呼び出し サポートされています
入力/出力マッピング サポートされています
新しいプロンプト サポートされています

変数値ノードを設定する

機能 サポート
リテラル割り当て サポート
式の割り当て サポート
変数から変数へ サポート

トピック管理ノード

機能 サポート
現在のトピックを終了する サポート
すべてのトピックを終了する サポート
会話を終了する サポート
手順に進む サポート
意図認識のためのユーザー入力 サポート
別のトピックに移動する サポート

会話ノードの転送

機能 サポート
エージェントへの転送 サポート
外部電話番号の転送 音声チャンネルのみでサポートされています。 

詳細

特徴 サポート
生成的な回答を作成する サポート

システム トリガーのサポート

Trigger サポート 詳細情報
会話の開始時 サポートされています 新しい会話が開始されたときに発生します
担当者と話す サポートされています 人間のエージェントへの転送
不明なトピック/不明な意図 サポートしていません 一致するトピックがない場合のフォールバック
OnSelectIntent (複数のトピックが一致) サポートしていません 類似トピック間のあいまいさの解消
会話のリセット (OnSystemRedirect) サポートされています 変数をクリアし、フローを再起動します
サインイン時に サポートしていません
不明な DTMF キーを押す サポートされています 未割り当てのキーパッド入力。 音声チャンネルのみに適用されます。
エージェントがフレーズを選択/ユーザーが言う サポートされています エージェントが意図に基づいてトピックを選択する
メッセージが受信される サポートしていません 待機時間を増やす
カスタム クライアント イベントが発生する サポートしていません セッション開始時のみ
会話の更新 サポートしていません メンバーの追加または削除、セッションの変更
それは呼び出される サポートしていません 同期 UI が必要
リダイレクトされる サポートされています
ユーザーは指定された期間非アクティブです。 サポートされています ユーザー無操作タイムアウト。 デジタルメッセージングチャネルのみに該当します。
無音検出 サポートされています 音声チャンネルのみに適用されます。
計画が完了する サポートしていません
生成された AI 応答 サポートしていません
エラー発生時 サポートされています オーケストレーション エラーを処理する

トピックと言語モデルの間で変数を渡す

ハイブリッド会話フローでトピックを使用する場合、信頼性の高いステートフルな対話を構築するには、トピックとリアルタイム言語モデルの間で変数を渡す方法を理解することが重要です。 このプロセスはチャネル全体に適用されます。

この機能は、次のプロセスで機能します。

  • トピックで定義されている入力変数を呼び出し時にトピックに渡して、言語モデルが確定的フローに構造化データを提供できるようにします。

  • トピックで定義された出力変数は、トピックの実行の最後に、構造化されたキーと値のペアとして言語モデルに返されます。

  • ツールコールの出力も同じパターンに従います。

  • 言語モデルには、ツール呼び出しの出力キーと値のペアを含む会話コンテキストが設定されます。 ただし、 明示的に定義された出力変数 は構造化データとしてのみ返されます。

  • 変数の記述は、会話中に変数をどのように使うかをモデルが理解するのに役立ちます。 明確で説明的な定義を提供してください。

詳細については、「 トピックの入力と出力の管理」を参照してください

多言語サポート

必要なすべての第 2 言語を追加します。 ローカライズ文字列は、リアルタイム フローには必要ありません。 ただし、決定論的なトピック メッセージの場合は、翻訳されたメッセージを提供する必要があります。 詳細については、「 多言語エージェントの構成と作成」を参照してください。

リアルタイム モデルは、多くの言語で理解し、応答できます。 ただし、Microsoftでは、一般提供のためにすべての言語が正式に検証されるわけではありません。

2026年6月時点で、以下の言語が正式に認証されています:

  • オランダ語 (オランダ) (nl-NL)
  • 英語 (オーストラリア) (en-AU)
  • 英語 (アメリカ合衆国) (en-US)
  • 英語 (英国) (en-GB)
  • フランス語 (カナダ) (fr-CA)
  • フランス語 (フランス) (fr-FR)
  • ドイツ語 (ドイツ) (de-DE)
  • イタリア語 (イタリア) (it-IT)
  • ポルトガル語 (ブラジル) (pt-BR)
  • スペイン語 (スペイン) (es-ES)
  • スペイン語 (アメリカ合衆国) (es-US)

Microsoft は引き続き他の言語を検証し、認定完了後に追加します。 Copilot Studio でサポートされている任意の言語を追加できます。 ただし、GA レベルの品質が完全に認定されていない言語は、運用環境のデプロイ前に十分にテストする必要があります。

Important

技術言語の機能は、サポートされている言語または認定された言語と等しいわけではありません。 英語以外の言語でエージェントをデプロイする場合は、実際の呼び出し元と通話フローで広範なテストを実施してから、公開する必要があります。

コンテキスト変数

リアルタイムエージェントは、会話や顧客に関する情報を運ぶことでより賢く振る舞うコンテキスト変数をサポートします。 利用可能なコンテキスト変数はチャンネルによって異なります。 このセットには次のものが含まれます。

コンテキストの変数 Description
チャネル ID 相互作用に使用される通信チャネルを識別します。 音声チャンネルのみに適用されます。
発信者番号 (ANI) 発信者の発信電話番号。 音声チャンネルのみに適用されます。
呼び出し先番号 (DNIS) 発信者がダイヤルした宛先電話番号。 音声チャンネルのみに適用されます。
会話ID アクティブな呼び出しセッションの一意の識別子。
SIP ヘッダー 通話に関連付けられたSIPヘッダーのキー-値ペアをサポートしていました。 音声チャンネルのみに適用されます。
現在の日付 (UTC) 日付対応応答を許可するために実行時に提供される世界協定時刻 (UTC) の現在の日付。
現在の時刻 (UTC) 時刻対応応答を許可するために実行時に提供される世界協定時刻 (UTC) の現在の時刻。

デジタルメッセージングやカスタムコンテキスト変数を含む他のすべてのコンテキスト変数については 、「エージェントのコンテキスト変数の設定」をご覧ください。

チャンネル固有の設定

エージェントの音声

エージェントを選択してエージェントが使用する音声を選択し、 設定>Voice>音声の選択に移動します。 リアルタイムエージェントは以下の音声をサポートします:

  • 合金
  • バラード
  • さんご
  • エコー
  • セージ
  • きらめき
  • マリン

Note

  • エージェントの音声はリアルタイムエージェント用で、Copilotサービス管理センターで設定されているものではありません。
  • Dynamicsシステムのメッセージ音声とリアルタイムエージェントをマッチさせるには、以下の対応音声のみを使用してください:Alloy、Echo、Shimmer、またはAsh。
  • Text LLMを使用するエージェントであるGPT-5-Chat(プレビュー版)は、Microsoft Neural Text-to-Speech(TTS)を通じて音声応答を生成します。 このモデルは、より広範なボイスカタログとカスタムボイスモデルをサポートし、ブランドボイス体験や高度なボイスカスタマイズを必要とする組織に適しています。

スピーチ感度

音声感度音声アクティビティ検出 (VAD) は、呼び出し元が話し終わった後にエージェントが応答するタイミングを決定します。

VADの種類の理解

リアルタイムエージェントは2つのVADアプローチをサポートしています:

スピーチ感度ダイアログのスクリーンショット。

サーバーベースのVAD - 音に基づく (無音)

  • オーディオ信号 (無音時間、音量) に基づいて音声の終了を検出します

  • 無音が検出されるとすぐに応答する

  • 構造化された相互作用、短い応答、ノイズの多い環境に最適

セマンティック VAD - 文のコンテキストに基づく

  • 言われた 内容の意味 に基づいてターンの完了を決定します

  • 自然な一時停止やフィラー、あとに続く言葉に適応

  • 最適な用途: 会話型の対話、複雑な質問、オープンエンドのディスカッション

適切なVADを選択してください

次のすべての条件に該当する場合は、サーバー ベースの VAD を使用します。

  • 相互作用は構造化されています (IVR スタイルのメニュー ナビゲーション)。
  • 応答は短く、予測可能です。
  • バックグラウンド ノイズは懸念事項です (セマンティック VAD が長すぎる場合があります)。
  • 高速で鮮明なターンテイクが必要です。

次のすべての条件に該当する場合は、セマンティック VAD を使用します。

  • 会話はオープン エンドです。
  • 発信者はためらったり、間投詞(「えーと」「考えさせて…」)を使ったりする場合があります。
  • 質問は複雑です (呼び出し元は状況を説明します)。
  • 自然な会話フローが優先されます。

サーバーベースのVADを設定

設定>ボイス>電話のセットアップ>音声入力>感度>音声に基づく(無音)に移動します。

「音声感度」が「サウンドに基づく(無音)」に設定されている場合のダイアログのスクリーンショット。

パラメーター Description デフォルト 推奨される範囲
しきい値 音声とノイズに対する感度 (0 ~ 1 スケール) 0.6 0.5-0.7
プレフィックス埋め込み (ミリ秒) 音声が開始される前にキャプチャされたオーディオ 300 ミリ秒 200-500 ミリ秒
無音期間 (ミリ秒) ターンを終了するために必要な無音 750 ミリ秒 750-1000 ミリ秒

Threshold

  • 「低い(0.3~0.4):感度が高く、静かな音声を拾いやすい。バックグラウンドノイズでトリガーされる可能性があります。」
  • 上位 (0.7 から 0.9): 機密性が低い。より大きな音声が必要で、誤ったトリガーを減らします。
  • 推奨:0.5から始め;背景雑音が誤トリガーを引き起こす場合は増加します。

プレフィックスパディング

  • 音声検出 前に オーディオをキャプチャします (最初の単語を切り捨てないようにします)。
  • 低い (200 ミリ秒): 高速応答;は最初の音節を見逃す可能性があります。
  • より高い(500ミリ秒):より安全なキャプチャ;わずかな遅延。
  • 推奨: 300 ミリ秒 (バランス良好)。

サイレンス・デュレーション

  • エージェントが応答するまでに呼び出し元をサイレントにする必要がある期間。
  • 低い (500ミリ秒): 素早いターンテイク; 話し手が考え中に一時停止すると、割り込むことがあります。
  • 高い (1000 ミリ秒): より多くの患者;が遅いと感じる場合があります。
  • 推奨: 750 ミリ秒から始めます。

セマンティックVADの設定

設定>音声>電話のセットアップ>音声入力>感度>文のコンテキストに基づいてに移動します。

[文のコンテキストに基づいて] に設定されている場合の [音声感度] ダイアログのスクリーンショット。

パラメーター: 反応速度 (セマンティック完了後、エージェントがどれだけ速く応答するか)

Setting 動作 最適な用途
待つ時間が長く、非常に忍耐強い 考えを口に出して言う、頻繁に一時停止する発信者
中程度 バランス (既定値) 一般的な会話
High すばやく応答する ペースの速い対話、簡単な質問

DTMF の構成

デュアルトーン多周波数(DTMF)を使用すると、通話者は電話機のキーパッドを使って情報を入力できます。

トピックレベルとグローバル レベルの両方で、エージェントの DTMF を有効にすることができます。 グローバル レベルで設定するには、エージェントを選択し、 設定>Voice>Conversation 動作>DTMF に移動します。

Important

DTMF専用の体験を構築する際には、メニュー選択や口座番号やPINなどの多桁入力を含むすべての入力ノードにDTMF入力を設定しましょう。 すべての可能な顧客入力パスに対応するDTMFマッピングを備え、ユーザーがキーパッド入力だけで会話を完結できるようにしましょう。

無音検出

サイレンス検出により、リアルタイムエージェントは発信者が一定期間入力を一切行わないことを認識できます。 エージェントのグローバル音声設定として無音検出を設定するには、[>>> に移動します。

Important

  • 既定では、無音検出は有効になっていません。 ユーザーが話さない場合、エージェントはプロンプトを表示せずに無期限に待機します。 無音検出を明示的に有効にし、サイレント呼び出し元を処理するように再プロンプト メッセージを構成します。
  • 既定の無音検出タイムアウトは 7,000 ミリ秒 (7 秒) です。 運用環境にデプロイする前に、特定のユース ケースと呼び出し元環境に対してこの値を検証します。 複雑な質問やノイズの多い環境など、対話の性質によっては、呼び出し元によっては 7 秒が長すぎるか、短すぎると感じる場合があります。 実際の呼び出しデータを使用してテストし、シナリオに適したしきい値を決定します。
  • 無音検出を有効にする前に、無音検出トピックで構成する動作 (エスカレート、ハングアップ、再プロンプトなど) が意図的であり、ユース ケースに適していることを確認します。 フォールバックの動作が正しく構成されていない場合(意図がハングアップのときにフォールバックを誤って Escalate とした場合など)、予期しない呼び出し結果を招く可能性があります。

レイテンシーメッセージング

バックグラウンド操作に予想以上の時間がかかる場合に、待機時間メッセージまたは音楽をエージェントに追加します。 待機時間メッセージングを構成するには、「設定>Voice>会話の動作>待機時間メッセージング」に移動します。

Important

Text LLMリアルタイムエージェントソリューションは複数の連続ステップ(ASR、LLM、TTS)を使用しているため、発信者は話しかけてから応答を聞く間に数秒間の沈黙を感じます。 例えば「少々お待ちください、調べてみます...」といったフレーズを使って、ユーザーに適切な期待を設定しましょう。

[Latency messaging]\(待機時間メッセージング\) ダイアログのスクリーンショット。

リアルタイムのエージェント評価

リアルタイムエージェントは 評価中にテキストを送信できますが、音声処理はサポートされていません。