BertTokenizer.ApplyBasicTokenization プロパティ
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
トークナイザーが基本的なトークン化を実行する必要があるかどうかを示す値を取得します。 クリーン テキストと同様に、正規化、小文字化などを行います。
public bool ApplyBasicTokenization { get; }member this.ApplyBasicTokenization : boolPublic ReadOnly Property ApplyBasicTokenization As Boolean