BertTokenizer.ApplyBasicTokenization Propiedad
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Obtiene un valor que indica si el tokenizador debe realizar la tokenización básica. Al igual que texto limpio, normalícelo, minúsculas, etc.
public bool ApplyBasicTokenization { get; }member this.ApplyBasicTokenization : boolPublic ReadOnly Property ApplyBasicTokenization As Boolean