BertTokenizer Clase

Obtiene un valor que indica si el tokenizador debe realizar la tokenización básica. Al igual que texto limpio, normalícelo, minúsculas, etc.

Obtiene el token clasificador que se usa al realizar la clasificación de secuencia (clasificación de toda la secuencia en lugar de la clasificación por token). Es el primer token de la secuencia cuando se compila con tokens especiales.

Obtiene el identificador de token del clasificador.

Obtiene el prefijo que se va a usar para las sub-palabras que no son la primera parte de una palabra.

Obtiene un valor que indica si el tokenizador debe dividir los caracteres CJK en tokens.

Obtiene un valor que indica si el tokenizador debe minúsculas el texto de entrada.

Obtiene el token de máscara usado para los valores de enmascaramiento. Este es el token que se usa al entrenar este modelo con modelado de lenguaje enmascarado. Este es el token que el modelo intentará predecir.

Obtiene el identificador del token de máscara.

Obtiene el número máximo de caracteres que se autorizarán en una sola palabra.

Obtiene el normalizador en uso por el tokenizador.

Obtiene el token usado para el relleno, por ejemplo, al procesar por lotes secuencias de diferentes longitudes.

Obtiene el identificador del token de relleno.

Obtiene el preTokenizer usado por el tokenizador.

Obtiene un valor que indica si se van a quitar marcas sin espaciado.

Obtiene el token separador, que se usa al crear una secuencia a partir de varias secuencias, por ejemplo, dos secuencias para la clasificación de secuencias o para un texto y una pregunta para la respuesta a preguntas. También se usa como último token de una secuencia creada con tokens especiales.

Obtiene el identificador de token del separador.

Obtiene los tokens especiales y sus identificadores correspondientes.

Obtiene un valor que indica si el tokenizador debe dividirse en los tokens especiales o tratar los tokens especiales como texto normal.

Obtiene el token desconocido. Un token que no está en el vocabulario no se puede convertir en un identificador y se establece en este token en su lugar.

Obtiene el identificador de token desconocido. Un token que no está en el vocabulario no se puede convertir en un identificador y se establece en este token en su lugar.

Cree entradas del modelo a partir de una secuencia o un par de secuencias para las tareas de clasificación de secuencia mediante la concatenación y la adición de tokens especiales. Una secuencia BERT tiene el siguiente formato: - secuencia única: [CLS] tokenIds [SEP] - par de secuencias: [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Cree entradas del modelo a partir de una secuencia o un par de secuencias para las tareas de clasificación de secuencia mediante la concatenación y la adición de tokens especiales. Una secuencia BERT tiene el siguiente formato: - secuencia única: [CLS] tokenIds [SEP] - par de secuencias: [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Obtenga el número de tokens en los que se codificará el texto de entrada.

Obtenga el número de tokens en los que se codificará el texto de entrada.

Obtenga el número de tokens en los que se codificará el texto de entrada.

Cree una nueva instancia de la BertTokenizer clase .

Cree una nueva instancia de la BertTokenizer clase .

Cree una nueva instancia de la BertTokenizer clase de forma asincrónica.

Cree una nueva instancia de la BertTokenizer clase de forma asincrónica.

Cree una máscara a partir de las dos secuencias que se pasan para usarse en una tarea de clasificación de pares de secuencia. Una máscara de par de secuencia BERT tiene el siguiente formato: 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 | primera secuencia | segunda secuencia | Si additionalTokenIds es null, este método solo devuelve la primera parte del tipo ids (0s).

Tokenizador para el modelo bert.

Descodifique los identificadores especificados, de vuelta a una cadena.

Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el destination intervalo.

Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el destination intervalo.

Descodifique los identificadores especificados, de vuelta a una cadena.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en identificadores de token.

Codifica el texto de entrada en una lista de EncodedTokens.

Codifica el texto de entrada en una lista de EncodedTokens.

Codifica el texto de entrada en una lista de EncodedTokens.

Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens.

Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens.

Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens.

Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens.

Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens.

Recupere la máscara de tokens de secuencia de una lista de identificadores.

Recupere la máscara de tokens de secuencia de una lista de identificadores.