BertOptions.IndividuallyTokenizeCjk Właściwość

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: BertOptions.cs

Źródło:: BertOptions.cs

Źródło:: BertOptions.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Pobiera lub ustawia wartość wskazującą, czy tokenizować znaki CJK w oddzielnych tokenach.

public bool IndividuallyTokenizeCjk { get; set; }

member this.IndividuallyTokenizeCjk : bool with get, set

Public Property IndividuallyTokenizeCjk As Boolean

Wartość właściwości

Boolean

Uwagi

Jest to przydatne, gdy chcesz tokenizować znaki CJK indywidualnie. Następujące zakresy Unicode są uważane za znaki CJK w tym celu: - U+3400 - U+4DBF CJK Unified Ideographs Extension A. - U+4E00 - U+9FFF podstawowy zestaw znaków CJK. - U+F900 - U+FAFF CJK Compatibility Ideographs. - U+20000 - U+2A6DF CJK Unified Ideographs Extension B. - U+2A700 - U+2B73F CJK Unified Ideographs Extension C. - U+2B740 - U+2B81F CJK Unified Ideographs Extension D. - U+2B820 - U+2CEAF CJK Unified Ideographs Extension E. - U+2F800 - U+2FA1F CJK Compatibility Ideographs Supplement.

Dotyczy