Språk

Identifiera tal med din egen modell med hjälp av Windows ML

Important

API:erna för Windows ML Runtime och taligenkänning är för närvarande experimentella och stöds inte för användning i produktionsmiljöer. Appar som testar dessa API:er bör inte publiceras till Microsoft Store.

Important

API:erna för Windows ML Runtime och taligenkänning är för närvarande tillgängliga i C++ och Python. C# stöds via en tillfällig wrapper som du kopierar in i ditt projekt. En framtida uppdatering kommer att innehålla C#-API:erna inbyggt. Se Konfigurera ett projekt.

Windows ML Speech Recognition API förenklar körning av automatisk taligenkänning (ASR) med din egen talmodell, med stöd av Windows ML Runtime API. Den hanterar transkriptionsloopen, strömmande utdata och annullering åt dig. Windows levereras inte med någon modell för det här API:et. Du väljer, paketerar och distribuerar modellen med din app. Det är en av Windows ML Task-API:er.

Tip

Om du inte behöver någon specifik talmodell eller anpassad distribution och bara vill ha tal till text på enheten med en modell Microsoft hanterar använder du API:et för taligenkänning som är redo att användas i stället.

Det finns två sätt att ange en modell för taligenkänning:

  • Från en kontrollpunktsmapp (Windows ML 2.9). Läs in en publicerad talmodellmapp, till exempel Whisper eller Nemotron, med LoadModelFromPath och anropa SetModel med ett GPU-körningsmål. Windows ML kompilerar modellen för GPU:n med CGC-backend. Ange modellens tokenizer uttryckligen. Se Välj hur en Task kör din modell.
  • Från pipelines som du bygger. För en Whisper-modell skapar du de underliggande Runtime-objekten – kodaren och avkodarmodellerna, körningsmålet och pipelines – och skickar dem till sessionen. Den här sökvägen döljer inte maskinvaruplacering. det tar bara bort behovet av att skriva din egen avkodningsloop.

Modeller som stöds

Sökvägen till checkpoint-foldern anger en publicerad talmodellmapp. Mappen behöver config.json, vikterna i model.safetensors (eller model.safetensors.index.json med varje shard det namnger) och tokenizer-filerna, till exempel tokenizer.json och tokenizer_config.json. En Whisper-mapp behöver generation_config.jsonockså , om den inte config.json innehåller no_timestamps_token_id. En modell som Windows ML inte stöder misslyckas med HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED).

Pipelinesökvägen är specifik för Whisper-kodarens/avkodarens arkitektur. Du anger ONNX-kodare och avkodarmodeller (encoder_model.onnx och decoder_model.onnx), som körs via ONNX Runtime, plus en tokenizer-fil.

Sessioner från en checkpointsmapp accepterar monoljudvågformer med modellens samplingsfrekvens, eller med en samplingsfrekvens på 8 000 till 48 000 Hz när modellen konverterar sina indata. Indatatensorn innehåller mono flyttalsbaserade PCM-samplar samt metadata för samplingsfrekvens och giltig längd.

Note

När Windows ML kör en modell med CGC-serverdelen börjar du med de rekommenderade talmodellerna: Whisper Medium, Whisper Tiny (exempelmodellen) och Nemotron 3.5 ASR Streaming 0,6B. Andra talmodeller har inte verifierats än.

Liveinmatning

En modell som accepterar ljud när appen registrerar det, till exempel en strömningsmodell som Nemotron, exponerar en livesession (IWinMLAutomaticSpeechRecognitionLiveSession). Du startar liveindata, skriver ljudsegment när du fångar dem och läser transkriptionsfragment när modellen bekräftar dem. Live-indata använder begränsad backpressure: WriteChunk rapporterar om Task accepterade chunken. Fråga sessionen efter livegränssnittet för att testa stöd, eftersom en modell som känner igen tal i fönster med fast längd, till exempel Whisper, inte exponerar det.

Språk, läge och prediktioner

En konfiguration för taligenkänning kan ange ett språk, ett läge och huruvida förutsägelser ska rapporteras. Språkstöd beror på modellen.

  • Mode.TRANSCRIBE, som är standard, skriver talet som text på det talade språket. TRANSLATE skriver det som engelsk text. Sessioner som skapats från en kontrollpunktsmapp transkriberas endast i Windows ML 2.9, så TRANSLATE misslyckas CreateSession med HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED). Kodarsammansättningen översätts när dess tokenizer mappar <|translate|> till identifieraren 50358.
  • Förutsägelser. Aktivera preliminär text som följer den igenkända texten och som senare igenkänning kan komma att revidera. Det är inaktiverat som standard. En modell som känner igen tal i fönster med fast längd, till exempel Whisper, och encoder-decoder-sammansättningen rapporterar inga förutsägelser. Utan förutsägelser levererar varje uppdatering texten i ett segment när modellen fastställer det, och Windows ML reviderar det aldrig. Varje segment efter det första börjar med ett blanksteg, så fragmenten av en åtgärd sammanfogas till dess transkription.

Note

De Whisper-specifika taligenkänningsnamnen i Windows ML 2.7, till exempel Whisper-konfigurations- och indatagränssnitten, är nu encoder-decoder-namn med samma gränssnitts-ID:n. Den Python projektionen innehåller whisper_bindingsinte längre , transcribe_whisper_log_meleller WhisperAutomaticSpeechRecognitionBindings. Kod som implementerar IWinMLAutomaticSpeechRecognitionConfiguration måste byggas om, eftersom gränssnittet fick språk-, läges- och förutsägelsemetoder.

Transkribera från en checkpoint-mapp

Läs in talmodellens checkpoint-mapp med LoadModelFromPath, skapa uppgiften med modellens tokenizer och anropa SetModel med GPU som körningsmål. Exemplen använder Whisper tiny; peka dem på en annan talmodellmapp som stöds, till exempel Nemotron, för att använda den modellen. Till skillnad från textgenerering tar taligenkänning tokeniseraren explicit. Ange språk och läge och skapa sedan en session:

// Temporary: WinMLRuntime and the other wrapper types in the WinMLSamples.Runtime
// namespaces aren't in the Windows ML package yet. Copy the wrapper files from
// https://github.com/microsoft/WindowsML/tree/main/Samples/Runtime/shared/csharp
// into your project. A future update will include the C# APIs natively.
using WinMLSamples.Runtime;
using WinMLSamples.Runtime.Tasks;

using WinMLRuntime runtime = WinMLRuntime.Create();
using ExecutionTarget target = runtime.CreateExecutionTarget(
    ExecutionTargetKind.Gpu, ExecutionTargetPreference.Performance);
using Model model = runtime.LoadModelFromPath(@"C:\models\whisper-tiny");
using Tokenizer tokenizer = Tokenizer.CreateFromFile(@"C:\models\whisper-tiny\tokenizer.json");

using WinMLTasks tasks = WinMLTasks.Create(runtime);
using AutomaticSpeechRecognitionTask task =
    tasks.AutomaticSpeechRecognition.CreateAutomaticSpeechRecognitionTask(tokenizer);

// Bind the model to the configuration on the GPU target.
using SpeechRecognitionConfiguration configuration = task.CreateConfiguration();
using (ModelSpeechRecognitionConfiguration modelConfiguration =
    configuration.As<ModelSpeechRecognitionConfiguration>())
{
    modelConfiguration.SetModel(target, model);
}

// Without a language, the model's default applies.
configuration.Language = "en";
configuration.Mode = SpeechRecognitionMode.Transcribe;
configuration.Validate();

// A SpeechRecognizer keeps the session on a thread of its own and streams the transcript.
await using SpeechRecognizer recognizer =
    await SpeechRecognizer.CreateAsync(tasks, task, configuration);

Om du vill strömma ett transkript från endera sökvägen anropar du TranscribeWaveform, som nästa avsnitt visar, där C#-SpeechRecognizer strömmar SpeechRecognitionUpdate-värden med await foreach.

Transkribera ljud med en Whisper-pipeline

I följande exempel används kompositionen Whisper encoder-decoder. Ange en Runtime-tensor med vågformsprover. Läs in Whisper-kodaren och avkodarmodellerna, skapa en pipeline för var och en och sammanfoga dem med en tokenizer till en session:

// Temporary: WinMLRuntime and the other wrapper types in the WinMLSamples.Runtime
// namespaces aren't in the Windows ML package yet. Copy the wrapper files from
// https://github.com/microsoft/WindowsML/tree/main/Samples/Runtime/shared/csharp
// into your project. A future update will include the C# APIs natively.
using WinMLSamples.Runtime;
using WinMLSamples.Runtime.Tasks;

// Create the runtime and an execution target (CPU here; GPU/NPU also available).
using WinMLRuntime runtime = WinMLRuntime.Create();
using ExecutionTarget target = runtime.CreateCpuExecutionTarget();

// Load the Whisper encoder as its own single-stage pipeline.
using Model encoderModel = runtime.LoadModelFromFile(@"C:\models\whisper\encoder_model.onnx");
using PipelineBuilder encoderBuilder = runtime.CreatePipelineBuilder();
using Stage encoderStage = encoderBuilder.AddModelStage(encoderModel, target, "whisper-encoder");
using Pipeline encoderPipeline = encoderBuilder.Build();

// Load the Whisper decoder the same way.
using Model decoderModel = runtime.LoadModelFromFile(@"C:\models\whisper\decoder_model.onnx");
using PipelineBuilder decoderBuilder = runtime.CreatePipelineBuilder();
using Stage decoderStage = decoderBuilder.AddModelStage(decoderModel, target, "whisper-decoder");
using Pipeline decoderPipeline = decoderBuilder.Build();

using Tokenizer tokenizer = Tokenizer.CreateFromFile(@"C:\models\whisper\tokenizer.json");

// Compose the encoder/decoder pipelines and tokenizer into a session.
using WinMLTasks tasks = WinMLTasks.Create(runtime);
using AutomaticSpeechRecognitionTask task =
    tasks.AutomaticSpeechRecognition.CreateAutomaticSpeechRecognitionTask(tokenizer);
using SpeechRecognitionConfiguration configuration = task.CreateConfiguration();
using (EncoderDecoderSpeechRecognitionConfiguration whisper =
    configuration.As<EncoderDecoderSpeechRecognitionConfiguration>())
{
    whisper.SetBindings(new EncoderDecoderSpeechRecognitionBindings
    {
        EncoderPipeline = encoderPipeline,
        EncoderStage = encoderStage,
        DecoderPipeline = decoderPipeline,
        DecoderStage = decoderStage,
        TensorTarget = target,
    });
}

configuration.Validate();

// A SpeechRecognizer keeps the session on a thread of its own and streams the transcript.
await using SpeechRecognizer recognizer =
    await SpeechRecognizer.CreateAsync(tasks, task, configuration);

Anropa TranscribeWaveform för att starta en strömningsåtgärd och hämta sedan fragment från den returnerade strömmen tills den rapporterar slutförande:

// Cancelling the token stops transcription in the Runtime.
CancellationTokenSource cancellation = new();

// Read transcript text one fragment at a time until the stream completes.
await foreach (SpeechRecognitionUpdate update in
    recognizer.TranscribeWaveformAsync(waveform, waveformMetadata, cancellation.Token))
{
    Console.Write(update.Text);
}

// The outcome is the authoritative transcript and finish reason.
SpeechRecognitionOutcome outcome = recognizer.LastOutcome!;
Console.WriteLine($"\nFinished because: {outcome.FinishReason}");

// Closing the session reports a failure that disposing it would not.
await recognizer.CloseAsync();

waveform och waveformMetadata kommer från din egen ljudinläsningskod: en Runtime-tensor som innehåller PCM-exempel med mono flyttal, plus exempelfrekvensen och metadata för giltig längd som beskriver den. I C# skapar target.AudioTensorFactory ljudtensorer.

Det slutförda resultatet rapporterar den fullständiga transkriptionen och en avslutsorsak, till exempel en slut-på-transkription-token, annullering eller ett fel.

C#, C++ och Python

Det inbyggda API:et exponeras via WinMLTasks.h och de typinskrivna C++-hjälparna under winml/tasks/speech/asr/WhisperAutomaticSpeechRecognition.hpp. Python program använder projektionen windowsml.tasks tillsammans med windowsml.runtime. C#-applikationer använder CsWin32-bindningar via en wrapper som du kopierar in i projektet för tillfället; se Konfigurera ett projekt.

De Windows ML-exemplen innehåller exempel på C++, C# och Python taligenkänning för båda sätten att ange en modell. Exemplen visar den fullständiga Körningskonfigurationen bredvid taligenkänningskonfigurationen så att du kan se var abstraktionen börjar och hur du anpassar det underliggande arbetsflödet.

Se även