VoiceAgentDefinition interface

語音代理的定義。 其設定(模型、說明、音訊、工具及可選角色)驅動受控語音轉語音體驗。 透過 建立即時語音會話 GET /agents/{agent_name}/endpoint/protocols/voice。 每次建立或更新都會產生一個新的不可變版本。

Extends

屬性

audio

音訊配置,包括輸入與輸出格式、語音、轉向偵測、降噪及轉錄。 這些值為會話預設值;用戶端在連接時可覆蓋支援欄位。

avatar

可選的頭像設定。 這些值是會話預設值,連接時可能會被覆蓋。

conversation_engine

這個語音代理負責對話處理的引擎。 必須提供此性質中恰有一個,且模型支持的配置(model_type ,且 model)。 當此性質被提供時,model_type, , modelinstructions, tools, tool_choice 必須省略,且greeting.tool_choice不能包含required,因為該引擎擁有對話邏輯。 初始實作支援主機代理引擎。

greeting

可選的開場問候。 模板模式會說出精確渲染的文字;LLM 產生模式則要求會話模型撰寫開場回應,並可能使用配置工具。

include

服務輸出中還需包含額外欄位。

instructions

插入模型內容中的系統(或開發人員)訊息。 支援透過 structured_inputs,在即時工作階段開始前,每場渲染的模板替換。

interim_response

延遲與工具執行的臨時回應設定。

kind

語音代理定義的那種歧視器。 一律為 voice。

max_output_tokens

一個回應的最大輸出標記數。

model

這個代理人應該使用的模型。 對於模型支援的語音代理來說,必須 model_type 使用,若提供則 conversation_engine 省略。 該模型必須支援即時語音或串接語音。

model_type

支持這位語音代理的模特兒是如何被服務的。 對於模型支援的語音代理來說,必須 model 使用,若提供則 conversation_engine 省略。 這與服務從所選模型衍生出的架構(即時或串接)無關。

output_modalities

代理人所產生的輸出模式。 預設為 ["audio"]。 animation 且 avatar 在設定化身時可用。

parallel_tool_calls

模型是否能同時呼叫多個工具。

store

是否與該代理人的對話持續進行。 一個單一的全有或全無的持久性開關,預設為 false (隱私安全:預設關閉)。 當 true,Foundry 會持續播放完整對話——文字稿/事件時間軸及原始音訊。 當 false時,則不會持續存在任何對話,也不會顯示任何對話。 沒有獨立的音訊記錄控制;音訊僅在此開關中持續保存。 延遲/效能遙測(例如首次音訊時間、令牌間延遲、中斷)僅包含可觀察性(客戶追蹤/應用程式洞察),不包含於持久對話內容中。

structured_inputs

一組結構化輸入,參與提示模板替換,於即時工作階段開始前每場次渲染。

subagent_config

為兄弟 Foundry 文字代理提供可選配置,該語音代理可作為背景專家諮詢。

tools

語音代理可能會使用的工具。 支援的工具類型包括 function (由用戶端執行)、 mcp、( system 服務管理的會話控制)及 toolbox。 伺服器端工具如 web_search、 azure_ai_search、 openapi 是透過工具箱提供,而非直接宣告。

tool_choice

模型如何選擇產生回應的工具。 none 防止工具呼叫, auto 讓模型自行決定, required 至少需要一次工具呼叫,且可透過物件選擇特定功能或 MCP 工具。 預設為 auto。

繼承的屬性

rai_config

負責任 AI (RAI) 內容篩選和安全功能的設定。

屬性詳細資料

audio

音訊配置,包括輸入與輸出格式、語音、轉向偵測、降噪及轉錄。 這些值為會話預設值;用戶端在連接時可覆蓋支援欄位。

audio?: VoiceAgentAudioConfig

屬性值

avatar

可選的頭像設定。 這些值是會話預設值,連接時可能會被覆蓋。

avatar?: VoiceAgentAvatarConfig

屬性值

conversation_engine

這個語音代理負責對話處理的引擎。 必須提供此性質中恰有一個,且模型支持的配置(model_type ,且 model)。 當此性質被提供時,model_type, , modelinstructions, tools, tool_choice 必須省略,且greeting.tool_choice不能包含required,因為該引擎擁有對話邏輯。 初始實作支援主機代理引擎。

conversation_engine?: VoiceConversationEngineUnion

屬性值

greeting

可選的開場問候。 模板模式會說出精確渲染的文字;LLM 產生模式則要求會話模型撰寫開場回應,並可能使用配置工具。

greeting?: VoiceAgentGreetingConfigUnion

屬性值

include

服務輸出中還需包含額外欄位。

include?: VoiceAgentSessionIncludeOption[]

屬性值

instructions

插入模型內容中的系統(或開發人員)訊息。 支援透過 structured_inputs,在即時工作階段開始前,每場渲染的模板替換。

instructions?: string

屬性值

string

interim_response

延遲與工具執行的臨時回應設定。

interim_response?: VoiceAgentInterimResponseConfigUnion

屬性值

kind

語音代理定義的那種歧視器。 一律為 voice。

kind: "voice"

屬性值

"voice"

max_output_tokens

一個回應的最大輸出標記數。

max_output_tokens?: VoiceAgentMaxOutputTokens

屬性值

model

這個代理人應該使用的模型。 對於模型支援的語音代理來說,必須 model_type 使用,若提供則 conversation_engine 省略。 該模型必須支援即時語音或串接語音。

model?: string

屬性值

string

model_type

支持這位語音代理的模特兒是如何被服務的。 對於模型支援的語音代理來說,必須 model 使用,若提供則 conversation_engine 省略。 這與服務從所選模型衍生出的架構(即時或串接)無關。

model_type?: VoiceModelType

屬性值

output_modalities

代理人所產生的輸出模式。 預設為 ["audio"]。 animation 且 avatar 在設定化身時可用。

output_modalities?: VoiceOutputModality[]

屬性值

parallel_tool_calls

模型是否能同時呼叫多個工具。

parallel_tool_calls?: boolean

屬性值

boolean

store

是否與該代理人的對話持續進行。 一個單一的全有或全無的持久性開關,預設為 false (隱私安全:預設關閉)。 當 true,Foundry 會持續播放完整對話——文字稿/事件時間軸及原始音訊。 當 false時,則不會持續存在任何對話,也不會顯示任何對話。 沒有獨立的音訊記錄控制;音訊僅在此開關中持續保存。 延遲/效能遙測(例如首次音訊時間、令牌間延遲、中斷)僅包含可觀察性(客戶追蹤/應用程式洞察),不包含於持久對話內容中。

store?: boolean

屬性值

boolean

structured_inputs

一組結構化輸入,參與提示模板替換,於即時工作階段開始前每場次渲染。

structured_inputs?: Record<string, StructuredInputDefinition>

屬性值

Record<string, StructuredInputDefinition>

subagent_config

為兄弟 Foundry 文字代理提供可選配置,該語音代理可作為背景專家諮詢。

subagent_config?: VoiceAgentSubagentConfig

屬性值

tools

語音代理可能會使用的工具。 支援的工具類型包括 function (由用戶端執行)、 mcp、( system 服務管理的會話控制)及 toolbox。 伺服器端工具如 web_search、 azure_ai_search、 openapi 是透過工具箱提供,而非直接宣告。

tools?: VoiceAgentToolUnion[]

屬性值

tool_choice

模型如何選擇產生回應的工具。 none 防止工具呼叫, auto 讓模型自行決定, required 至少需要一次工具呼叫,且可透過物件選擇特定功能或 MCP 工具。 預設為 auto。

tool_choice?: VoiceAgentToolChoice

屬性值

繼承的屬性詳細資料

rai_config

負責任 AI (RAI) 內容篩選和安全功能的設定。

rai_config?: RaiConfig

屬性值

繼承自AgentDefinition.rai_config