PreTokenizer.CreateWordOrPunctuation Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Utwórz nowe wystąpienie PreTokenizer klasy, które dzieli tekst na białe znaki lub znaki interpunkcyjne.

public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);

static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizer

Public Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizer

Parametry

specialTokens: IReadOnlyDictionary<String,Int32>

Słownik zawierający tokeny specjalne i odpowiadające im identyfikatory.

Zwraca

PreTokenizer

Tokenizator wstępny dzielący tekst na białe znaki lub znaki interpunkcyjne.

Uwagi

Ten pre-tokenizer używa wzorca wyrażeń regularnych "\w+|[\p{P}]", aby podzielić tekst na tokeny.

Dotyczy