VoiceAgentConnection interface

Pakiet:
@azure/ai-projects

Połączony, dwukierunkowy strumień agentów głosowych.

Obsługuje dokładnie jedną for await iterację nad zdarzeniami serwera; druga próba jest wyrzucona. Wczesne wyjście z pętli (break, return, lub niewychwycony błąd w ciele pętli) zamyka połączenie jako efekt uboczny. Nierozpoznane typy zdarzeń serwerowych są dostarczane jako VoiceAgentUnknownEvent bez przerwania strumienia. Nieprawidłowe zdarzenia nadal nie przechodzą iteracji z powodu błędu protokołu.

Rozszerzenie

AsyncIterable<VoiceAgentRealtimeEvent>

Właściwości

closed

Rozwiązuje się, gdy połączenie zostanie zamknięte.
state

Obecny stan połączenia.

Metody

cancelResponse(VoiceAgentCancelResponseOptions)

Anuluje odpowiedź w trakcie trwania.
clearInputAudio(VoiceAgentEventOptions)

Usuwa buforowany dźwięk wejściowy.
clearOutputAudio(VoiceAgentEventOptions)

Usuwa oczekujący dźwięk wyjściowy podczas serwisu.
close(number, string)

Z gracją zamyka połączenie WebSocket.
commitAudio(VoiceAgentEventOptions)

Commituje buforowany dźwięk wejściowy.
configureSession(VoiceAgentSessionUpdateConfig, VoiceAgentSessionUpdateOptions)

Aktualizacje obsługiwane ustawienia sesji na żywo.
dispose()

To rozluźnia połączenie. Równoważne do close().
requestResponse(VoiceAgentResponseOptions)

Prosi o nową odpowiedź.
sendAudio(ArrayBuffer | Uint8Array, VoiceAgentEventOptions)

Dodaje bajty audio kodowane w base64 do bufora wejściowego.
sendEvent(VoiceAgentClientEvent, VoiceAgentSendOptions)

Wysyła dowolne wygenerowane zdarzenie protokołu klienta.
sendText(string, VoiceAgentSendTextOptions)

Dodaje element tekstowy użytkownika i domyślnie prosi o odpowiedź.
sendToolOutput(string, string, VoiceAgentSendToolOutputOptions)

Zwraca wynik funkcji wykonany przez klienta agentowi.

Metody dziedziczone

[asyncIterator]()

Szczegóły właściwości

closed

Rozwiązuje się, gdy połączenie zostanie zamknięte.

closed: Promise<VoiceAgentCloseResult>

Wartość właściwości

Promise<VoiceAgentCloseResult>

state

Obecny stan połączenia.

state: VoiceAgentConnectionState

Wartość właściwości

VoiceAgentConnectionState

Szczegóły metody

cancelResponse(VoiceAgentCancelResponseOptions)

Anuluje odpowiedź w trakcie trwania.

function cancelResponse(options?: VoiceAgentCancelResponseOptions): Promise<void>

Parametry

options
VoiceAgentCancelResponseOptions

Zwraca

Promise<void>

clearInputAudio(VoiceAgentEventOptions)

Usuwa buforowany dźwięk wejściowy.

function clearInputAudio(options?: VoiceAgentEventOptions): Promise<void>

Parametry

options
VoiceAgentEventOptions

Zwraca

Promise<void>

clearOutputAudio(VoiceAgentEventOptions)

Usuwa oczekujący dźwięk wyjściowy podczas serwisu.

function clearOutputAudio(options?: VoiceAgentEventOptions): Promise<void>

Parametry

options
VoiceAgentEventOptions

Zwraca

Promise<void>

close(number, string)

Z gracją zamyka połączenie WebSocket.

function close(code?: number, reason?: string): Promise<void>

Parametry

code

number

reason

string

Zwraca

Promise<void>

commitAudio(VoiceAgentEventOptions)

Commituje buforowany dźwięk wejściowy.

function commitAudio(options?: VoiceAgentEventOptions): Promise<void>

Parametry

options
VoiceAgentEventOptions

Zwraca

Promise<void>

configureSession(VoiceAgentSessionUpdateConfig, VoiceAgentSessionUpdateOptions)

Aktualizacje obsługiwane ustawienia sesji na żywo.

function configureSession(session: VoiceAgentSessionUpdateConfig, options?: VoiceAgentSessionUpdateOptions): Promise<void>

Parametry

session
VoiceAgentSessionUpdateConfig
options
VoiceAgentSessionUpdateOptions

Zwraca

Promise<void>

dispose()

To rozluźnia połączenie. Równoważne do close().

function dispose(): Promise<void>

Zwraca

Promise<void>

requestResponse(VoiceAgentResponseOptions)

Prosi o nową odpowiedź.

function requestResponse(options?: VoiceAgentResponseOptions): Promise<void>

Parametry

options
VoiceAgentResponseOptions

Zwraca

Promise<void>

sendAudio(ArrayBuffer | Uint8Array, VoiceAgentEventOptions)

Dodaje bajty audio kodowane w base64 do bufora wejściowego.

function sendAudio(audio: ArrayBuffer | Uint8Array, options?: VoiceAgentEventOptions): Promise<void>

Parametry

audio

ArrayBuffer | Uint8Array

options
VoiceAgentEventOptions

Zwraca

Promise<void>

sendEvent(VoiceAgentClientEvent, VoiceAgentSendOptions)

Wysyła dowolne wygenerowane zdarzenie protokołu klienta.

function sendEvent(event: VoiceAgentClientEvent, options?: VoiceAgentSendOptions): Promise<void>

Parametry

event
VoiceAgentClientEvent
options
VoiceAgentSendOptions

Zwraca

Promise<void>

sendText(string, VoiceAgentSendTextOptions)

Dodaje element tekstowy użytkownika i domyślnie prosi o odpowiedź.

function sendText(text: string, options?: VoiceAgentSendTextOptions): Promise<void>

Parametry

text

string

options
VoiceAgentSendTextOptions

Zwraca

Promise<void>

sendToolOutput(string, string, VoiceAgentSendToolOutputOptions)

Zwraca wynik funkcji wykonany przez klienta agentowi.

function sendToolOutput(callId: string, output: string, options?: VoiceAgentSendToolOutputOptions): Promise<void>

Parametry

callId

string

output

string

options
VoiceAgentSendToolOutputOptions

Zwraca

Promise<void>

Szczegóły metody dziedziczonej

[asyncIterator]() 

function [asyncIterator](): AsyncIterator<VoiceAgentRealtimeEvent, any, any>

Zwraca

AsyncIterator<VoiceAgentRealtimeEvent, any, any>

Odziedziczone od AsyncIterable. [asyncIterator]