BertOptions.IndividuallyTokenizeCjk Propriedade

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v1.0.1

Pacote:: Microsoft.ML.Tokenizers v0.22.0

Pacote:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origem:: BertOptions.cs

Origem:: BertOptions.cs

Origem:: BertOptions.cs

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Obtém ou define um valor que indica se os caracteres CJK devem ser tokenizados em tokens separados.

public bool IndividuallyTokenizeCjk { get; set; }

member this.IndividuallyTokenizeCjk : bool with get, set

Public Property IndividuallyTokenizeCjk As Boolean

Valor da propriedade

Boolean

Comentários

Isso é útil quando você deseja tokenizar caracteres CJK individualmente. Os seguintes intervalos Unicode são considerados caracteres CJK para esta finalidade: - U+3400 - U+4DBF CJK Unified Ideographs Extension A. - U+4E00 - U+9FFF basic set of CJK characters. - U+F900 – Ideografias de compatibilidade do CJK U+FAFF. - U+20000 - U+2A6DF CJK Unified Ideographs Extension B. - U+2A700 - U+2B73F CJK Unified Ideographs Extension C. - U+2B740 - U+2B81F CJK Unified Ideographs Extension D. - U+2B820 - U+2CEAF CJK Unified Ideographs Extension E. - U+2F800 - U+2FA1F CJK Compatibility Ideographs Supplement.

Aplica-se a