Tworzenie agenta z funkcją rozpoznawania mowy

Agenci sztucznej inteligencji to programy programowe, które mogą samodzielnie zrozumieć informacje, podejmować decyzje i podejmować działania, aby pomóc użytkownikom osiągnąć określone cele. Typowym celem agentów sztucznej inteligencji jest możliwość prowadzenia rozmów w czasie rzeczywistym, tak jak w przypadku człowieka.

Zamiana mowy na mowę to funkcja, która umożliwia aplikacji odbieranie dźwięku mówionego jako danych wejściowych i generowanie dźwięku mówionego jako danych wyjściowych bez konieczności odczytywania lub wpisywania tekstu przez użytkownika. Doświadczenie użytkownika przypomina naturalną rozmowę głosową.

Zamiana mowy na mowę umożliwia systemom:

• Słuchaj osoby mówiącej
• Zrozumienie lub przekształcenie tego, co zostało powiedziane
• Odpowiedz za pomocą syntetycznej mowy

Przetwarzanie mowy na mowę łączy zamianę mowy na tekst i zamianę tekstu na mowę w zintegrowane doświadczenie konwersacyjne. Zamiana mowy na mowę jest tworzona jako potok funkcji mowy i języka. Potok zostanie ukończony:

1. Zamiana mowy na tekst: konwertowanie dźwięku mówionego użytkownika na tekst.
2. Przetwarzanie lub rozumowanie: Analizowanie, tłumaczenie i podsumowywanie tekstu lub używane przez agenta sztucznej inteligencji w celu podjęcia decyzji, co należy powiedzieć dalej.
3. Zamiana tekstu na mowę: konwertowanie tekstu odpowiedzi z powrotem na dźwięk mówiony.

Typowe scenariusze zamiany mowy na mowę obejmują:

• Asystentzy głosowi i agenci sztucznej inteligencji: użytkownicy rozmawiają z agentem i słyszą wypowiedziane odpowiedzi.
• Tłumaczenie mowy: użytkownik mówi w jednym języku i słyszy odpowiedź w innym języku.
• Aplikacje bez rąk: systemy nawigacji, kioski lub narzędzia przemysłowe, w których pisanie nie jest praktyczne.
• Ułatwienia dostępu: interakcja głosowa dla użytkowników, którzy wolą lub wymagają wejścia i wyjścia audio.
• Boty obsługi klienta: Dzwoniący mówią naturalnie i otrzymują odpowiedzi mówione.

Azure Mowa — głos na żywo

Azure Speech zawiera VoiceLive Service co ułatwia tworzenie agentów konwersacyjnych. Interfejs API Voice Live umożliwia aplikacjom prowadzenie rozmów głosowych w czasie rzeczywistym. Pozwala agentowi głosowemu słuchać, co ktoś mówi, i szybko oraz naturalnie odpowiedzieć mową.

Zamiast kompilować i łączyć wiele oddzielnych elementów — takich jak zamiana mowy na tekst, rozumowanie sztucznej inteligencji i zamiana tekstu na mowę — interfejs API Voice Live łączy wszystko w jedną usługę. Interfejs API Voice Live ułatwia deweloperom tworzenie środowisk opartych na głosach.

Azure w pełni zarządza VoiceLive co oznacza, że nie musisz samodzielnie konfigurować ani obsługiwać systemów zaplecza. Po wysłaniu dźwięku do voicelive wysyła z powrotem wypowiedziane odpowiedzi. Funkcja VoiceLive może również zwracać wizualizacje, takie jak awatary i wyzwalać akcje w razie potrzeby. Azure obsługuje modele i infrastrukturę za kulisami, dzięki czemu możesz skupić się na tworzeniu środowiska głosu.

Rozwiązania zamiany mowy na mowę w usłudze Azure korzystają z:

• Azure Speech, która zapewnia funkcje konwersji mowy na tekst oraz tekstu na mowę.
• Agenci lub logika aplikacji , która podejmuje decyzje dotyczące odpowiedzi.
• Narzędzia Foundry lub serwery MCP, które mogą udostępniać mowę jako narzędzia wywoływane, aby agenci nie musieli zarządzać bezpośrednio zestawami SDK ani interfejsami API.

Możesz zapoznać się z platformą Voice Live na placu zabaw w portalu Foundry. Plac zabaw Foundry zawiera kilka wstępnie skonfigurowanych próbek głosowych, które można wypróbować, lub możesz utworzyć własne rozwiązanie. Podczas tworzenia rozwiązania należy wybrać model generatywnej sztucznej inteligencji dla agenta do użycia. Azure Speech Voice Live używa generatywnego modelu AI wraz z własnymi modelami akustycznymi do prowadzenia rozmowy na żywo z użytkownikiem. Na placu zabaw można skonfigurować wiele ustawień. Możesz na przykład włączyć aktywne zaangażowanie, aby agent mógł inicjować konwersacje.

Możesz również włączyć tryb Voice dla agenta Microsoft Foundry na placu zabaw, który integruje Azure Speech Voice Live z definicją agenta. Takie podejście oznacza, że konfiguracja mowy jest hermetyzowana w samym agencie, zmniejszając kod klienta wymagany do jego użycia.

Korzystanie z usługi Voice Live w aplikacji

Aby opracować aplikację niestandardową korzystającą z agenta, musimy napisać kod. Aby utworzyć aplikację w Python, potrzebny jest pakiet azure-ai-voicelive.

Pakiet można zainstalować w Visual Studio Code terminal przy użyciu:

pip install azure-ai-voicelive

Przykładowy kod dla aplikacji z mowy na mowę można znaleźć w portalu Foundry. Przykładowy kod obsługuje całą logikę wymaganą do zainicjowania sesji, nawiązywania połączenia z urządzeniami audio, takimi jak mikrofony i głośniki, przetwarzanie przychodzących i wychodzących strumieni audio, obsługa przerw itd. Przykładowy kod jest dobrym punktem wyjścia do tworzenia własnej aplikacji.

Przykładowy kod można pobrać do własnego edytora kodu i zainstalować odpowiednie pakiety. Po uruchomieniu aplikacji, asystent głosowy w czasie rzeczywistym przesyła dźwięk z mikrofonu do usługi Azure Voice Live, odbiera odpowiedź głosową asystenta i odtwarza ją za pośrednictwem głośników.

Usługa Voice Live w usłudze Azure Speech oferuje skuteczny sposób tworzenia agentów konwersacyjnych obsługujących mowę, którzy naturalnie angażują się w użytkowników. Następnie wypróbuj samodzielnie Azure Speech - Voice Live na platformie Foundry.