BertTokenizer.ApplyBasicTokenization Propriedade
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Obtém um valor que indica se o tokenizador deve fazer a tokenização básica. Como texto limpo, normalize-o, minúsculas etc.
public bool ApplyBasicTokenization { get; }member this.ApplyBasicTokenization : boolPublic ReadOnly Property ApplyBasicTokenization As Boolean