語言
Important
Windows 的 ML 執行時與語音辨識 API 目前仍處於實驗階段,尚未支援於生產環境中使用。 嘗試這些 API 的應用程式不應該發佈至 Microsoft 市集。
Important
Windows 的 ML 執行時與語音辨識 API 目前以 C++ 和 Python 提供;C# 目前不支援。如果你有興趣使用 C# 中的這些 API,歡迎在 Windows ML GitHub 倉庫發表問題告訴我們!
Windows ML 語音辨識 API 簡化了在您自己的 Whisper 模型上執行自動語音辨識(ASR)的過程。 它包含 Whisper 編碼器管線、解碼器管線和分詞器,然後在 Windows ML Runtime API 之上,幫你處理自迴歸轉錄迴圈、串流輸出和取消。 Windows 不會提供這個 API 的模型;你可以選擇、打包並分發 Whisper 模型——編碼器、解碼器檔案,以及一個標記器——隨你的應用程式一起使用。
Tip
如果你不需要特定的 Whisper 模型或自訂部署,只想要 Microsoft 管理的裝置端語音轉文字,請改用現成可用的 Speech Recognition API。
你仍然建立底層的執行時物件——編碼器與解碼器模型、執行目標以及管線——並將它們傳遞給會話。 API 不會隱藏硬體配置;它只是省去了自己寫解碼迴圈的需求。
支援的模型
語音辨識 API 是專為 Whisper 編碼/解碼架構打造的——它不是通用的 ASR API。 你提供:
-
ONNX 編碼器與解碼器模型(
encoder_model.onnx與decoder_model.onnx),透過 ONNX Runtime 執行
編碼器/解碼器對隨附一個分詞器檔案。 輸入張量包含單聲道浮點 PCM 樣本,以及取樣率與有效長度的元資料。
轉錄音訊
提供一個運行時張量,儲存波形樣本。 載入 Whisper 編碼器與解碼器模型,為每個模型建立管線,並用分詞器將它們組合成一個會話:
// Create the runtime and an execution target (CPU here; GPU/NPU also available).
ComPtr<IWinMLRuntime> runtime;
THROW_IF_FAILED(WinMLCreateRuntime(IID_PPV_ARGS(runtime.GetAddressOf())));
ComPtr<IWinMLExecutionTarget> target;
THROW_IF_FAILED(runtime->CreateCpuExecutionTarget(target.GetAddressOf()));
// Load the Whisper encoder as its own single-stage pipeline.
ComPtr<IWinMLModel> encoderModel;
THROW_IF_FAILED(runtime->LoadModelFromFile(
L"C:\\models\\whisper\\encoder_model.onnx", nullptr, encoderModel.GetAddressOf()));
ComPtr<IWinMLPipelineBuilder> encoderBuilder;
THROW_IF_FAILED(runtime->CreatePipelineBuilder(encoderBuilder.GetAddressOf()));
ComPtr<IWinMLStage> encoderStage;
THROW_IF_FAILED(encoderBuilder->AddModelStage(
encoderModel.Get(), target.Get(), L"whisper-encoder", encoderStage.GetAddressOf()));
ComPtr<IWinMLPipeline> encoderPipeline;
THROW_IF_FAILED(encoderBuilder->Build(encoderPipeline.GetAddressOf()));
// Load the Whisper decoder the same way.
ComPtr<IWinMLModel> decoderModel;
THROW_IF_FAILED(runtime->LoadModelFromFile(
L"C:\\models\\whisper\\decoder_model.onnx", nullptr, decoderModel.GetAddressOf()));
ComPtr<IWinMLPipelineBuilder> decoderBuilder;
THROW_IF_FAILED(runtime->CreatePipelineBuilder(decoderBuilder.GetAddressOf()));
ComPtr<IWinMLStage> decoderStage;
THROW_IF_FAILED(decoderBuilder->AddModelStage(
decoderModel.Get(), target.Get(), L"whisper-decoder", decoderStage.GetAddressOf()));
ComPtr<IWinMLPipeline> decoderPipeline;
THROW_IF_FAILED(decoderBuilder->Build(decoderPipeline.GetAddressOf()));
ComPtr<IWinMLTokenizer> tokenizer;
THROW_IF_FAILED(WinMLCreateTokenizerFromFile(
L"C:\\models\\whisper\\tokenizer.json", tokenizer.GetAddressOf()));
// Compose the encoder/decoder pipelines and tokenizer into a session.
const winml::tasks::speech::asr::AutomaticSpeechRecognitionArguments arguments{
runtime.Get(),
tokenizer.Get(),
{
encoderPipeline.Get(),
encoderStage.Get(),
decoderPipeline.Get(),
decoderStage.Get(),
target.Get(),
},
};
winml::tasks::speech::asr::AutomaticSpeechRecognition speechRecognition;
THROW_IF_FAILED(winml::tasks::speech::asr::BuildAutomaticSpeechRecognition(
arguments, speechRecognition));
呼叫 TranscribeWaveform 以啟動串流操作,然後從回傳的串流中拉取片段,直到它回報完成:
ComPtr<IWinMLCancellationSource> cancellation;
THROW_IF_FAILED(speechRecognition.tasks->CreateCancellationSource(
cancellation.GetAddressOf()));
ComPtr<IWinMLAutomaticSpeechRecognitionPullStream> stream;
THROW_IF_FAILED(speechRecognition.session->TranscribeWaveform(
waveform.Get(),
&waveformMetadata,
cancellation.Get(),
stream.GetAddressOf()));
// Pull transcript text one fragment at a time until the stream completes.
WINML_AUTOMATIC_SPEECH_RECOGNITION_READ_STATUS status{};
LPCWSTR fragment = nullptr;
while (SUCCEEDED(stream->ReadNext(&status, &fragment)) &&
status == WINML_AUTOMATIC_SPEECH_RECOGNITION_READ_STATUS_UPDATE)
{
std::wprintf(L"%ls", fragment);
}
// The terminal result is the authoritative transcript and finish reason.
ComPtr<IWinMLAutomaticSpeechRecognitionResult> result;
THROW_IF_FAILED(stream->GetResult(result.GetAddressOf()));
waveform 和 waveformMetadata 來自你自己的音訊載入程式碼:一個運行時張量,儲存單聲道浮點 PCM 樣本,加上描述它的取樣率和有效長度中繼資料。
完成的結果會顯示完整的轉錄內容及結束原因,例如轉錄結束權杖、取消或錯誤。
C++ 與 Python
原生 API 透過winml/tasks/speech/asr/WhisperAutomaticSpeechRecognition.hpp公開,而型別化的 C++ 輔助工具位於WinMLTasks.h之下。 Python 應用程式會將windowsml.tasks投影與 windowsml.runtime一起使用。
Windows ML 範例包含 C++ 與 Python Whisper 的轉錄範例。 範例展示了完整的執行時設定,並列在語音辨識設定旁,讓你能看到抽象的起點,以及如何自訂底層工作流程。