BertOptions.IndividuallyTokenizeCjk Eigenschaft

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: BertOptions.cs

Quelle:: BertOptions.cs

Quelle:: BertOptions.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Dient zum Abrufen oder Festlegen eines Werts, der angibt, ob die CJK-Zeichen in separaten Token tokenisiert werden sollen.

public bool IndividuallyTokenizeCjk { get; set; }

member this.IndividuallyTokenizeCjk : bool with get, set

Public Property IndividuallyTokenizeCjk As Boolean

Eigenschaftswert

Boolean

Hinweise

Dies ist nützlich, wenn Sie CJK-Zeichen einzeln tokenisieren möchten. Die folgenden Unicode-Bereiche gelten für diesen Zweck als CJK-Zeichen: - U+3400 - U+4DBF CJK Unified Ideographs Extension A. - U+4E00 - U+9FFF basic set of CJK characters. - U+F900 - U+FAFF CJK Compatibility Ideographen. - U+20000 - U+2A6DF CJK Unified Ideographs Extension B. - U+2A700 - U+2B73F CJK Unified Ideographs Extension C. - U+2B740 - U+2B81F CJK Unified Ideographs Extension D. - U+2B820 - U+2CEAF CJK Unified Ideographs Extension E. - U+2F800 - U+2FA1F CJK Compatibility Ideographs Supplement.

Gilt für: