BertOptions.IndividuallyTokenizeCjk Propiedad

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Source:: BertOptions.cs

Source:: BertOptions.cs

Source:: BertOptions.cs

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Obtiene o establece un valor que indica si se van a tokenizar los caracteres CJK en tokens independientes.

public bool IndividuallyTokenizeCjk { get; set; }

member this.IndividuallyTokenizeCjk : bool with get, set

Public Property IndividuallyTokenizeCjk As Boolean

Valor de propiedad

Boolean

Comentarios

Esto resulta útil cuando desea tokenizar caracteres CJK individualmente. Los siguientes intervalos Unicode se consideran caracteres CJK para este propósito: - U+3400 - U+4DBF CJK Unified Ideographs Extension A. - U+4E00 - U+9FFF conjunto básico de caracteres CJK. - U+F900 - Ideógrafos de compatibilidad de CJK de U+FAFF. - U+20000 - U+2A6DF CJK Unified Ideographs Extension B. - U+2A700 - U+2B73F CJK Unified Ideographs Extension C. - U+2B740 - U+2B81F CJK Unified Ideographs Extension D. - U+2B820 - U+2CEAF CJK Unified Ideographs Extension E. - U+2F800 - U+2FA1F CJK Compatibility Ideographs Supplement.

Se aplica a