BertOptions.IndividuallyTokenizeCjk プロパティ

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

ソース:: BertOptions.cs

ソース:: BertOptions.cs

ソース:: BertOptions.cs

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

個別のトークンで CJK 文字をトークン化するかどうかを示す値を取得または設定します。

public bool IndividuallyTokenizeCjk { get; set; }

member this.IndividuallyTokenizeCjk : bool with get, set

Public Property IndividuallyTokenizeCjk As Boolean

プロパティ値

Boolean

注釈

これは、CJK 文字を個別にトークン化する場合に便利です。この目的では、次の Unicode 範囲は CJK 文字と見なされます。 - U+3400 - U+4DBF CJK 統合 Ideographs Extension A. - U+4E00 - U+9FFF 基本 CJK 文字セット。 - U+F900 - U+FAFF CJK 互換性表表 - U+20000 - U+2A6DF CJK Unified Ideographs Extension B. - U+2A700 - U+2B73F CJK Unified Ideographs Extension C. - U+2B740 - U+2B81F CJK Unified Ideographs Extension D. - U+2B820 - U+2CEAF CJK Unified Ideographs Extension E. - U+2F800 - U+2FA1F CJK Compatibility Ideographs Supplement.

適用対象