CodeGenTokenizer.PreTokenizer Właściwość
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Pobiera pretokenizer używany przez tokenizator.
public override Microsoft.ML.Tokenizers.PreTokenizer? PreTokenizer { get; }
member this.PreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer
Public Overrides ReadOnly Property PreTokenizer As PreTokenizer