BertTokenizer.SplitOnSpecialTokens Proprietà
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Ottiene un valore che indica se il tokenizer deve essere suddiviso nei token speciali o considerare i token speciali come testo normale.
public bool SplitOnSpecialTokens { get; }member this.SplitOnSpecialTokens : boolPublic ReadOnly Property SplitOnSpecialTokens As Boolean