PreTokenizer.CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Utwórz nowe wystąpienie PreTokenizer klasy, które dzieli tekst w białych odstępach.

public static Microsoft.ML.Tokenizers.PreTokenizer CreateWhiteSpace(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);

static member CreateWhiteSpace : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizer

Public Shared Function CreateWhiteSpace (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizer

Parametry

specialTokens: IReadOnlyDictionary<String,Int32>

Słownik zawierający tokeny specjalne i odpowiadające im identyfikatory.

Zwraca

PreTokenizer

Pre-tokenizer dzielący tekst w białych odstępach.

Uwagi

Ten pre-tokenizer używa wzorca wyrażeń regularnych "\S+", aby podzielić tekst na tokeny.

Dotyczy