BpeTokenizer.PreTokenizer Propriedade
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Obtém o PreTokenizer usado pelo Tokenizer.
public override Microsoft.ML.Tokenizers.PreTokenizer? PreTokenizer { get; }member this.PreTokenizer : Microsoft.ML.Tokenizers.PreTokenizerPublic Overrides ReadOnly Property PreTokenizer As PreTokenizer