リアルタイムエージェントの設定

注記

本記事では 、標準ハーネスで駆動されるエージェントやエージェントフローで使用される機能について説明します。

リアルタイムエージェントを展開するには、リアルタイムモデルを有効にし、コアエージェント設定を設定し、必要なチャネル固有の機能を設定します。 同じエージェントを音声チャンネル、デジタルメッセージングチャンネル、またはその両方に展開できます。

注記

リアルタイムエージェントはデジタルメッセージングチャネルのプレビュー段階です。 プレビュー機能は、運用上の用途のためのものではなく、機能が制限されている場合があります。 これらの機能には 、追加の使用条件が適用されます。 Microsoftは公式リリース前にこれらのツールを提供し、顧客が早期アクセスを得てフィードバックを提供できるようにしています。

リアルタイムエージェントの設定と有効化

  1. 新しいエージェントを作成し、説明の名前やエージェントの目的など、その基本的な詳細を構成します。

  2. エージェントの 音声 設定に行き、「 音声を有効にする」をオンにしてください。 ボイスタイプでリアルタイムを選択します。

    Important

    この設定は、1 回限り選択できます。 リアルタイムを選択した後は、基本的なエージェントタイプに戻すことはできません。 Basic Agentを使うには、新しいエージェントを作成します。 この設定は、デジタルメッセージングチャネルのエージェントを使っていても必須です。

  3. 使いたいモデル、 GPT-Realtime、 GPT-Realtime-Mini、または GPT-5-Chat(プレビュー)を選択してください。 GPT-5-Chat(プレビュー)は、Microsoft Neural Text-to-Speech(TTS)を通じて音声応答を生成するテキストLLM音声モデルです。
    これらのモデルは 、サポート地域や展開の考慮事項に基づいてどのように動作するかについて詳しく学びましょう。 以下の表は、異なるモデルを使用できるシナリオを示しています。

    Scenario GPT-Realtime GPT-5-Chat(プレビュー)
    会話のスタイル ネイティブ音声間対話 音声は推論のためにテキストに変換され、その後再び音声に合成されます
    Latency 自然な会話における最低遅延 レイテンシは GPT-Realtime よりも高い
    音声カスタマイズ リアルタイム音声エージェント向けの組み込みリアルタイム音声オプションをサポートしています Microsoft Neural Text-to-Speech(TTS)をサポートし、より広範な音声カタログやカスタム音声モデルを含みます
    ブランドボイス体験 カスタマイズオプションは限られています カスタムまたはブランドのボイス体験が必要な時におすすめです
    地域展開の柔軟性 対応可能なリアルタイムモデル領域に限定 音声認識およびTTSサービスによる柔軟性の向上
    最も適しているデータ 自然で低遅延の音声会話と自由度の高いやり取り 高度な音声カスタマイズ、カスタム音声、コンプライアンス要件、または地域ごとの展開柔軟性を必要とするシナリオ

    Tip

    • 自然な会話の質と低遅延が主な要件である場合は 、GPT-Realtime を活用してください。
    • 遅延やリソース使用を抑えて高速な音声操作が必要なシナリオには GPT-Realtime-Mini(プレビュー )を使いましょう。
    • 音声カスタマイズ、カスタムボイスモデル、展開の柔軟性が応答遅延よりも重要な場合は 、GPT-5-Chat(プレビュー )を使用してください。
  4. エージェントのセキュリティ設定に移動し、[認証なし] を選択します。

知識とツール

ナレッジとツールを使用するようにエージェントを構成できます。 詳細については、 ナレッジ ソースの概要 と カスタム エージェントへのツールの追加に関するページを参照してください。

ネストされたエージェント (プレビュー)

リアルタイムエージェントは 子供エージェントのみをサポートします。

Important

子エージェントの説明がトピックの説明と重複しないようにします。 エージェントの命令で呼び出し順序を明示的に定義します。

Topics

リアルタイムエージェントはCopilot Studioで設定されたすべてのトピックをサポートします。 トピックを使って挨拶、ビジネスルール、エスカレーションなどの決定論的な行動を定義し、選択したモデルは実行時に会話応答を管理します。

ベスト プラクティス

  • トピックは、決定論的な動作が必要な場合にのみ使用します。

  • 最初の応答が最も速い場合は、あいさつメッセージで静的テキストを使用します。 変数と式を含む動的メッセージでは、初期待機時間が長くなります。

  • リアルタイムエージェントモデルで挨拶を処理したい場合は、 会話開始 トピックを無効にしてください。 それ以外の場合、 会話の開始 トピックで構成された案内応答は、音声モデルの案内応答の代わりに再生されます。

  • リアルタイムエージェントモデルに一般的な会話やフォローアップの質問を任せましょう。

  • 転送や通話の終了など、エラー 時 のトピックに明示的なアクションを含めます。 メッセージのみのエラー処理では不十分です。 決定論的な次のステップがなければ、顧客はボイスエージェントの沈黙やメッセージングチャネルの通話が詰まることがあり、混乱や顧客体験の悪化を招く可能性があります。

  • 明示的なトピックとツールの説明を使用して、データ収集の所有権を宣言します。 詳細については、「 効果的なトピックとツールの説明を記述する」を参照してください。

トピック ノードのサポート

以下のリストはリアルタイムエージェントにおけるトピックサポートを説明します。

条件ノード

Feature Support
If/Else 構文分岐 サポート
Power Fx 式 サポート
スロット フィリングの再処理 サポート

メッセージ ノード

機能 Support
基本的なメッセージ サポート
メッセージのバリエーション Supported
変数の挿入 Supported
Ssml 音声チャンネルのみ
リッチメディア/アダプティブ カード  デジタルメッセージングチャネルのみでサポートされています。 この機能はプレビュー中です。 
クイック応答 デジタルメッセージングチャネルのみでサポートされています。 この機能はプレビュー中です。 

質問ノード

Feature Support
テキストの入力を求める Supported
自動保留 サポートしていません
スロット フィリング Supported
動作のスキップ/貪欲なスロット フィリング Supported
再プロンプト/再試行 Supported
応答処理が無効です Supported
トピックの中断 Supported
割り込み 音声チャンネルのみでサポートされています。
カスタム リプロンプトメッセージ Supported
DTMF 入力 音声チャンネルのみでサポートされています。
無音検出 音声チャンネルのみでサポートされています。

HTTP ノード

機能 Support
HTTP メソッド: GET、POST、PUT、PATCH、DELETE サポート
URL エンドポイント サポート
ヘッダーとペイロード サポート
応答の解析とスキーマ サポート
変数マッピング サポート
エラー処理 サポート

ツール ノード

Feature Support
Power Automate フロー Supported
ツールの呼び出し Supported
入力/出力マッピング Supported
新しいプロンプト Supported

変数値ノードを設定する

機能 Support
リテラル割り当て サポート
式の割り当て サポート
変数から変数へ サポート

トピック管理ノード

機能 Support
現在のトピックを終了する サポート
すべてのトピックを終了する サポート
会話を終了する サポート
手順に進む サポート
意図認識のためのユーザー入力 サポート
別のトピックに移動する サポート

会話ノードの転送

機能 Support
エージェントへの転送 サポート
外部電話番号の転送 音声チャンネルのみでサポートされています。 

詳細

Feature Support
生成的な回答を作成する サポート

システム トリガーのサポート

Trigger Support Details
会話の開始時 Supported 新しい会話が開始されたときに発生します
担当者と話す Supported 人間のエージェントへの転送
不明なトピック/不明な意図 サポートしていません 一致するトピックがない場合のフォールバック
OnSelectIntent (複数のトピックが一致) サポートしていません 類似トピック間のあいまいさの解消
会話のリセット (OnSystemRedirect) Supported 変数をクリアし、フローを再起動します
サインイン時に サポートしていません
不明な DTMF キーを押す Supported 未割り当てのキーパッド入力。 音声チャンネルのみに適用されます。
エージェントがフレーズを選択/ユーザーが言う Supported エージェントが意図に基づいてトピックを選択する
メッセージが受信される サポートしていません 待機時間を増やす
カスタム クライアント イベントが発生する サポートしていません セッション開始時のみ
会話の更新 サポートしていません メンバーの追加または削除、セッションの変更
それは呼び出される サポートしていません 同期 UI が必要
リダイレクトされる Supported
ユーザーは指定された期間非アクティブです。 Supported ユーザーの非アクティブ タイムアウト。 デジタルメッセージングチャネルのみに該当します。
無音検出 Supported 音声チャンネルのみに適用されます。
計画が完了する サポートしていません
生成された AI 応答 サポートしていません
エラー発生時 Supported オーケストレーション エラーを処理する

トピックと言語モデルの間で変数を渡す

ハイブリッド会話フローでトピックを使用する場合、信頼性の高いステートフルな対話を構築するには、トピックとリアルタイム言語モデルの間で変数を渡す方法を理解することが重要です。 このプロセスはチャネル全体に適用されます。

この機能は、次のプロセスで機能します。

  • トピックで定義されている入力変数を呼び出し時にトピックに渡して、言語モデルが確定的フローに構造化データを提供できるようにします。

  • トピックで定義された出力変数は、トピックの実行の最後に、構造化されたキーと値のペアとして言語モデルに返されます。

  • ツールコールの出力も同じパターンに従います。

  • 言語モデルには、ツール呼び出しの出力キーと値のペアを含む会話コンテキストが設定されます。 ただし、 明示的に定義された出力変数 は構造化データとしてのみ返されます。

  • 変数の記述は、会話中に変数をどのように使うかをモデルが理解するのに役立ちます。 明確で説明的な定義を提供してください。

詳細については、「 トピックの入力と出力の管理」を参照してください。

多言語サポート

必要なすべての第 2 言語を追加します。 ローカライズ文字列は、リアルタイム フローには必要ありません。 ただし、決定論的なトピック メッセージの場合は、翻訳されたメッセージを提供する必要があります。 詳細については、「 多言語エージェントの構成と作成」を参照してください。

リアルタイム モデルは、多くの言語で理解し、応答できます。 ただし、Microsoftでは、一般提供のためにすべての言語が正式に検証されるわけではありません。

2026年6月時点で、以下の言語が正式に認証されています:

  • オランダ語 (オランダ) (nl-NL)
  • 英語 (オーストラリア) (en-AU)
  • 英語 (アメリカ合衆国) (en-US)
  • 英語 (英国) (en-GB)
  • フランス語 (カナダ) (fr-CA)
  • フランス語 (フランス) (fr-FR)
  • ドイツ語 (ドイツ) (de-DE)
  • イタリア語 (イタリア) (it-IT)
  • ポルトガル語 (ブラジル) (pt-BR)
  • スペイン語 (スペイン) (es-ES)
  • スペイン語 (アメリカ合衆国) (es-US)

Microsoft は引き続き他の言語を検証し、認定完了後に追加します。 Copilot Studio でサポートされている任意の言語を追加できます。 ただし、GA レベルの品質が完全に認定されていない言語は、運用環境のデプロイ前に十分にテストする必要があります。

Important

技術言語の機能は、サポートされている言語または認定された言語と等しいわけではありません。 英語以外の言語でエージェントをデプロイする場合は、実際の呼び出し元と通話フローで広範なテストを実施してから、公開する必要があります。

コンテキスト変数

リアルタイムエージェントは、会話や顧客に関する情報を運ぶことでより賢く振る舞うコンテキスト変数をサポートします。 利用可能なコンテキスト変数はチャンネルによって異なります。 このセットには次のものが含まれます。

コンテキストの変数 Description
チャネル ID 相互作用に使用される通信チャネルを識別します。 音声チャンネルのみに適用されます。
発信者番号 (ANI) 発信者の発信電話番号。 音声チャンネルのみに適用されます。
呼び出し先番号 (DNIS) 発信者がダイヤルした宛先電話番号。 音声チャンネルのみに適用されます。
会話ID アクティブな呼び出しセッションの一意の識別子。
SIP ヘッダー 通話に関連付けられたSIPヘッダーのキー-値ペアをサポートしていました。 音声チャンネルのみに適用されます。
現在の日付 (UTC) 日付対応応答を許可するために実行時に提供される世界協定時刻 (UTC) の現在の日付。
現在の時刻 (UTC) 時刻対応応答を許可するために実行時に提供される世界協定時刻 (UTC) の現在の時刻。

デジタルメッセージングやカスタムコンテキスト変数を含む他のすべてのコンテキスト変数については 、「エージェントのコンテキスト変数の設定」をご覧ください。

音声チャンネル設定

これらの設定は、エージェントを音声チャネルに展開した際に適用されます。

エージェントの音声

エージェントが使用する音声を選択するには、エージェントを選択し、設定>音声>音声を選択に移動します。

GPT-Realtime 音声エージェント

リアルタイム音声エージェントは組み込みのリアルタイム音声モデルを使用し、以下の音声フォントをサポートしています。

  • 合金
  • 灰
  • バラード
  • さんご
  • エコー
  • セージ
  • きらめき
  • 詩
  • マリン
  • 杉

GPT-5-ChatおよびテキストLLMエージェント

GPT-5-Chatを使用するエージェントは、Microsoft Neural Text-to-Speech(TTS)を通じて音声応答を生成します。 これらのエージェントは以下をサポートしています:

  • より幅広い声のカタログ
  • 第2言語の音声フォント
  • 話す速度や声の高さなどの音声形成オプション

使用可能な設定は次のとおりです。

  • 音声名:エージェントが使う音声を選択します。
  • セカンダリー言語(GPT-5-Chatのみ対応):エージェントがサポートするセカンダリー言語の音声フォントを設定してください。
  • 話す速度(GPT-5-Chatのみ):遅い、通常、速い。
  • 声のピッチ(GPT-5-Chat専用):低、中、または高。

注記

  • コンタクトセンターに接続Dynamicsエージェントの場合、Copilot Studio(音声設定>設定)で選択された音声がエージェントが使用する音声です。 Dynamics Copilotサービス管理センターで設定した音声設定は、エージェントの音声を上書きしません。
  • Dynamicsシステムのメッセージボイスをエージェントボイスと一致させるには、共通のサポートボイスのいずれか:Alloy、Ash、Echo、またはShimmerのいずれかをご利用ください。

スピーチ感度

音声感度音声アクティビティ検出 (VAD) は、呼び出し元が話し終わった後にエージェントが応答するタイミングを決定します。

VAD 型について

リアルタイムエージェントは2つのVADアプローチをサポートしています:

スピーチ感度ダイアログのスクリーンショット。

  • サーバーベースのVAD - 音に基づく (無音)

    • オーディオ信号 (無音時間、音量) に基づいて音声の終了を検出します

    • 沈黙が判明するとすぐに反応する。

    • 構造化されたやり取り、短い応答、騒がしい環境に最適です。

  • セマンティック VAD - 文のコンテキストに基づく

    • 言われた 内容の意味 に基づいてターンの完了を決定します

    • 自然な間、つなぎ言葉、つなぎ言葉に適応します。

    • 最適な用途:会話形式のやり取り、複雑な質問、オープンエンドの議論。

適切な VAD を選択する

次のすべての条件に該当する場合は、サーバー ベースの VAD を使用します。

  • 相互作用は構造化されています (IVR スタイルのメニュー ナビゲーション)。
  • 応答は短く、予測可能です。
  • バックグラウンド ノイズは懸念事項です (セマンティック VAD が長すぎる場合があります)。
  • 高速で鮮明なターンテイクが必要です。

次のすべての条件に該当する場合は、セマンティック VAD を使用します。

  • 会話はオープン エンドです。
  • 発信者はためらったり、間投詞(「えーと」「考えさせて…」)を使ったりする場合があります。
  • 質問は複雑です (呼び出し元は状況を説明します)。
  • 自然な会話フローが優先されます。

サーバー ベースの VAD を構成する

設定>ボイス>電話のセットアップ>音声入力>感度>音声に基づく(無音)に移動します。

「音声感度」が「サウンドに基づく(無音)」に設定されている場合のダイアログのスクリーンショット。

Parameter Description Default 推奨される範囲
しきい値 音声とノイズに対する感度 (0 ~ 1 スケール) 0.6 0.5-0.7
プレフィックス埋め込み (ミリ秒) 音声が開始される前にキャプチャされたオーディオ 300 ミリ秒 200-500 ミリ秒
無音時間 (ms) ターンを終了するために必要な無音 750 ミリ秒 750-1000 ミリ秒
しきい値
  • 「低い(0.3~0.4):感度が高く、静かな音声を拾いやすい。バックグラウンドノイズでトリガーされる可能性があります。」
  • 上位 (0.7 から 0.9): 機密性が低い。より大きな音声が必要で、誤ったトリガーを減らします。
  • 推奨:0.5から始め;背景雑音が誤トリガーを引き起こす場合は増加します。
プレフィックスのパディング
  • 音声検出 前に オーディオをキャプチャします (最初の単語を切り捨てないようにします)。
  • 低い (200 ミリ秒): 高速応答;は最初の音節を見逃す可能性があります。
  • より高い(500ミリ秒):より安全なキャプチャ;わずかな遅延。
  • 推奨: 300 ミリ秒 (バランス良好)。
無音時間
  • エージェントが応答するまでに呼び出し元をサイレントにする必要がある期間。
  • 低 (500ms): 会話のやり取りが速い。話者が話している途中で間が空くと、割り込む可能性があります。
  • 高い(1000 ミリ秒): より忍耐を要する。遅さを感じる場合があります。
  • 推奨: 750 ミリ秒から始めます。

セマンティックVADの設定

設定>音声>電話のセットアップ>音声入力>感度>文のコンテキストに基づいてに移動します。

[文のコンテキストに基づいて] に設定されている場合の [音声感度] ダイアログのスクリーンショット。

パラメーター: 反応速度 (セマンティック完了後、エージェントがどれだけ速く応答するか)

Setting Behavior 最適な用途
低 待つ時間が長く、非常に忍耐強い 考えを口に出して言う、頻繁に一時停止する発信者
Medium バランス (既定値) 一般的な会話
High すばやく応答する ペースの速い対話、簡単な質問

DTMF の構成

デュアルトーン多周波数(DTMF)を使用すると、通話者は電話機のキーパッドを使って情報を入力できます。

トピックレベルとグローバル レベルの両方で、エージェントの DTMF を有効にすることができます。 グローバル レベルで設定するには、エージェントを選択し、 設定>Voice>Conversation 動作>DTMF に移動します。

Important

DTMF専用の体験を構築する際には、メニュー選択や口座番号やPINなどの多桁入力を含むすべての入力ノードにDTMF入力を設定しましょう。 すべての可能な顧客入力パスに対応するDTMFマッピングを備え、ユーザーがキーパッド入力だけで会話を完結できるようにしましょう。

無音検出

サイレンス検出により、リアルタイムエージェントは発信者が一定期間入力を一切行わないことを認識できます。 エージェントのグローバル音声設定として無音検出を設定するには、[>>> に移動します。

Important

  • 既定では、無音検出は有効になっていません。 ユーザーが話さない場合、エージェントはプロンプトを表示せずに無期限に待機します。 無音検出を明示的に有効にし、サイレント呼び出し元を処理するように再プロンプト メッセージを構成します。
  • 既定の無音検出タイムアウトは 7,000 ミリ秒 (7 秒) です。 運用環境にデプロイする前に、特定のユース ケースと呼び出し元環境に対してこの値を検証します。 複雑な質問やノイズの多い環境など、対話の性質によっては、呼び出し元によっては 7 秒が長すぎるか、短すぎると感じる場合があります。 実際の呼び出しデータを使用してテストし、シナリオに適したしきい値を決定します。
  • 無音検出を有効にする前に、無音検出トピックで構成する動作 (エスカレート、ハングアップ、再プロンプトなど) が意図的であり、ユース ケースに適していることを確認します。 フォールバックの動作が正しく構成されていない場合(意図がハングアップのときにフォールバックを誤って Escalate とした場合など)、予期しない呼び出し結果を招く可能性があります。

レイテンシーメッセージング

バックグラウンド操作に予想以上の時間がかかる場合に、待機時間メッセージまたは音楽をエージェントに追加します。 待機時間メッセージングを構成するには、「設定>Voice>会話の動作>待機時間メッセージング」に移動します。

Important

Text LLMリアルタイムエージェントソリューションは複数の連続ステップ(ASR、LLM、TTS)を使用しているため、発信者は話しかけてから応答を聞く間に数秒間の沈黙を感じます。 例えば「少々お待ちください、調べてみます...」といったフレーズを使って、ユーザーに適切な期待を設定しましょう。

[Latency messaging]\(待機時間メッセージング\) ダイアログのスクリーンショット。

リアルタイムのエージェント評価

リアルタイムエージェントは 評価中にテキスト送信はサポートしますが、音声処理はサポートしていません。

デジタルメッセージングチャネル設定(プレビュー)

これらの設定は、エージェントをデジタルメッセージングチャネルに展開した際に適用されます。

メッセージングの挙動

デジタルメッセージングチャネル上のリアルタイムエージェントはテキストでやり取りします。 会話は同じAIモデルを使用していますが、DTMF、VAD、バージイン、ボイス選択などの音声特有機能は適用されません。

非アクティブ状態の処理

顧客がメッセージの会話で返信をやめた際のエージェントの反応設定。 ユーザーが非アクティブなときのエージェントの挙動を定義するために、 非アクティブトリガー を使いましょう。