BertTokenizer.ApplyBasicTokenization 屬性
定義
重要
部分資訊涉及發行前產品,在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊,不做任何明確或隱含的瑕疵擔保。
會得到一個值,指示分詞器是否應該進行基本分詞。 像是乾淨的文字、正規化、縮小大寫等等。
public bool ApplyBasicTokenization { get; }
member this.ApplyBasicTokenization : bool
Public ReadOnly Property ApplyBasicTokenization As Boolean