Synteza mowy

Ukończone

Wskazówka

Aby uzyskać więcej szczegółów, zobacz kartę Tekst i obrazy .

Synteza mowy, często nazywana zamianą tekstu na mowę (TTS), dotyczy wokalizacji danych, zwykle przez konwertowanie tekstu na mowę. Synteza mowy zwykle generuje słyszalną mowę ze źródła opartego na tekście.

Rozwiązanie zamiany tekstu na mowę zwykle wymaga następujących informacji:

  • Tekst, który ma być wypowiadany
  • Głos, który ma być używany do wokalizacji mowy

Aby syntetyzować mowę, system zazwyczaj tokenizuje tekst, aby podzielić go na poszczególne wyrazy, i przypisuje dźwięki fonetyczne do każdego słowa. Następnie dzieli transkrypcję fonetyczną na jednostki prosodic (takie jak frazy, klauzule lub zdania). System tworzy fonemy z jednostek prozodycznych. Te fonemy są następnie syntetyzowane jako dźwięk i mogą być przypisane do określonego głosu, szybkości mówienia, wysokości dźwięku i głośności.

Możesz użyć danych wyjściowych syntezy mowy w wielu celach, takich jak:

  • Generowanie odpowiedzi mówionych na dane wejściowe użytkownika.
  • Czytanie wiadomości na głos.
  • Emitowanie anonsów.

Azure Speech — zamiana tekstu na mowę

Usługa Azure Speech zawiera interfejs API zamiany tekstu na mowę , który można eksplorować w portalu Microsoft Foundry.

Interfejs API zamiany tekstu na mowę umożliwia konwertowanie danych wejściowych tekstu na słyszalną mowę, która może być odtwarzana bezpośrednio za pośrednictwem głośnika komputera lub zapisywana w pliku audio. Usługa zawiera wiele wstępnie zdefiniowanych głosów z obsługą wielu języków i wymowy regionalnej, w tym neuronowych głosów korzystających z sieci neuronowych. Głosy neuronowe mogą przezwyciężać typowe ograniczenia syntezy mowy, takie jak problemy z intonacją, co skutkuje bardziej naturalnie brzmiącym głosem. Możesz również opracowywać niestandardowe głosy i używać ich za pomocą interfejsu API zamiany tekstu na mowę.

W nowym portalu Microsoft Foundry możemy eksplorować możliwości zamiany tekstu na mowę w usłudze Azure Speech na platformie testowej Foundry. Na platformie demonstracyjnej Azure Speech — Tekst do mowy w Foundry możesz wybrać syntetyczny głos do wyboru. Możesz również dostosować niektóre parametry, aby kontrolować odtwarzanie dźwięku, na przykład szybkość i wysokość dźwięku. Dane wyjściowe audio są generowane na podstawie syntetyzowanego tekstu.

Zrzut ekranu z funkcji zamiany tekstu na mowę w Foundry Playground.

Korzystanie z zestawu SDK zamiany tekstu na mowę platformy Azure

Usługa Azure Speech umożliwia tworzenie aplikacji korzystającej z syntezy głosu. Zestaw SDK zamiany tekstu na mowę platformy Azure umożliwia aplikacjom konwertowanie tekstu pisanego na dźwięk mówiony naturalnie.

Zestaw SDK umożliwia Twojej aplikacji:

  • Wysyłanie tekstu do usługi Azure Speech
  • Generowanie dźwięku mówionego przy użyciu neuronowych głosów
  • Odtwarzanie lub zapisywanie dźwięku w głośnikach lub pliku audio

Zestaw SDK zarządza uwierzytelnianiem, komunikacją sieciową, formatowaniem audio i odtwarzaniem dźwięku, abyś mógł skupić się na doświadczeniu użytkownika w swojej aplikacji.

Tworzenie aplikacji

Zestaw SDK do zamiany tekstu na mowę jest zazwyczaj używany w:

  • Aplikacje klienckie do konwertowania tekstu na mowę i natychmiastowego odtwarzania (na przykład aplikacji klasycznej lub mobilnej)
  • Usługi zaplecza: generowanie plików audio na potrzeby późniejszego odtwarzania

Po zainstalowaniu zestawu SDK języka Python możesz utworzyć i uruchomić program. Rozważmy następujący kod w języku Python. Po uruchomieniu:

  1. Aplikacja inicjuje zestaw SPEECH SDK: zapewnia punkt końcowy i uwierzytelnianie (klucz lub identyfikator Entra firmy Microsoft)
  2. Podano tekst
  3. Tekst jest wysyłany do usługi Azure Speech: zestaw SDK obsługuje żądanie i formatowanie
  4. Synteza mowy działa w chmurze: modele neuronowe generują dźwięk
  5. Dźwięk jest zwracany: Aplikacja odtwarza, przesyła strumieniowo lub tymczasowo zapisuje dźwięk
import os
import azure.cognitiveservices.speech as speechsdk

# This example requires environment variables named "FOUNDRY_KEY" and "ENDPOINT"
speech_config = speechsdk.SpeechConfig(subscription=os.environ.get('FOUNDRY_KEY'), endpoint=os.environ.get('ENDPOINT'))
audio_config = speechsdk.audio.AudioOutputConfig(use_default_speaker=True)

# The neural multilingual voice can speak different languages based on the input text.
speech_config.speech_synthesis_voice_name='en-US-Ava:DragonHDLatestNeural'

speech_synthesizer = speechsdk.SpeechSynthesizer(speech_config=speech_config, audio_config=audio_config)

# Get text from the console and synthesize to the default speaker.
print("Enter some text that you want to speak >")
text = input()

speech_synthesis_result = speech_synthesizer.speak_text_async(text).get()

if speech_synthesis_result.reason == speechsdk.ResultReason.SynthesizingAudioCompleted:
    print("Speech synthesized for text [{}]".format(text))
elif speech_synthesis_result.reason == speechsdk.ResultReason.Canceled:
    cancellation_details = speech_synthesis_result.cancellation_details
    print("Speech synthesis canceled: {}".format(cancellation_details.reason))
    if cancellation_details.reason == speechsdk.CancellationReason.Error:
        if cancellation_details.error_details:
            print("Error details: {}".format(cancellation_details.error_details))
            print("Did you set the speech resource key and endpoint values?")

Przykład aplikacji klienckiej

Załóżmy na przykład, że tworzysz aplikację, która wokalizuje wiadomości tekstowe. W edytorze kodu masz jeden plik tekstowy i jeden plik w języku Python zawierający kod aplikacji.

Zrzut ekranu przedstawiający plik tekstowy w programie Visual Studio Code.

Najpierw połącz się z punktem końcowym usługi Azure Speech. Następnie utwórz SpeechSynthesizer obiekt. Następnie aplikacja przetwarza plik tekstowy zawierający komunikat i używa SpeechSynthesizer obiektu do wygenerowania dźwięku mówionego.

Zrzut ekranu przedstawiający kod języka Python zamiany tekstu na mowę.

Po uruchomieniu aplikacji przyjmie tekst i zwróci dźwiękową wersję wiadomości.

Zrzut ekranu przedstawiający wyniki skryptu języka Python zamiany tekstu na mowę.

Następnie dowiesz się, jak włączyć funkcje zamiany mowy na mowę do aplikacji za pomocą usługi Azure Speech — Voice Live.