BertTokenizer.IndividuallyTokenizeCjk Propriedade
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Obtém um valor que indica se o tokenizador deve dividir os caracteres CJK em tokens.
public bool IndividuallyTokenizeCjk { get; }
member this.IndividuallyTokenizeCjk : bool
Public ReadOnly Property IndividuallyTokenizeCjk As Boolean
Valor da propriedade
Comentários
Isso é útil quando você deseja tokenizar caracteres CJK individualmente. Os seguintes intervalos Unicode são considerados caracteres CJK para esta finalidade: - U+3400 - U+4DBF CJK Unified Ideographs Extension A. - U+4E00 - U+9FFF basic set of CJK characters. - U+F900 – Ideografias de compatibilidade do CJK U+FAFF. - U+20000 - U+2A6DF CJK Unified Ideographs Extension B. - U+2A700 - U+2B73F CJK Unified Ideographs Extension C. - U+2B740 - U+2B81F CJK Unified Ideographs Extension D. - U+2B820 - U+2CEAF CJK Unified Ideographs Extension E. - U+2F800 - U+2FA1F CJK Compatibility Ideographs Supplement.