語言

BertTokenizer.ApplyBasicTokenization 屬性

定義

會得到一個值,指示分詞器是否應該進行基本分詞。 像是乾淨的文字、正規化、縮小大寫等等。

public bool ApplyBasicTokenization { get; }
member this.ApplyBasicTokenization : bool
Public ReadOnly Property ApplyBasicTokenization As Boolean

屬性值

適用於