Tokenizer Konstruktory

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
Tokenizer()	Inicjuje nowe wystąpienie klasy Tokenizer.
Tokenizer(Model, PreTokenizer, Normalizer)	Utwórz nowy obiekt Tokenizer.

Tokenizer()

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Inicjuje nowe wystąpienie klasy Tokenizer.

protected Tokenizer();

Protected Sub New ()

Dotyczy

Tokenizer(Model, PreTokenizer, Normalizer)

Utwórz nowy obiekt Tokenizer.

public Tokenizer(Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.Tokenizer

Public Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)

Parametry

model: Model

Model używany przez tokenizator.

preTokenizer: PreTokenizer

Opcjonalny pretokenizer używany przez tokenizator. Funkcja WhiteSpace PreTokenizer będzie używana, jeśli ten parametr ma wartość null.

normalizer: Normalizer

Opcjonalny moduł normalizer używany przez tokenizator.

Dotyczy