BertTokenizer Classe

Obtém um valor que indica se o tokenizador deve fazer a tokenização básica. Como texto limpo, normalize-o, minúsculas etc.

Obtém o token de classificador que é usado ao fazer a classificação de sequência (classificação de toda a sequência em vez de classificação por token). É o primeiro token da sequência quando criado com tokens especiais.

Obtém a ID do token do classificador

Obtém o prefixo a ser usado para sub-palavras que não são a primeira parte de uma palavra.

Obtém um valor que indica se o tokenizador deve dividir os caracteres CJK em tokens.

Obtém um valor que indica se o tokenizador deve reduzir o texto de entrada.

Obtém o token de máscara usado para mascarar valores. Esse é o token usado ao treinar esse modelo com modelagem de linguagem mascarada. Esse é o token que o modelo tentará prever.

Obtém a ID do token de máscara

Obtém o número máximo de caracteres a serem autorizados em uma única palavra.

Obtém o Normalizador em uso pelo Tokenizer.

Obtém o token usado para preenchimento, por exemplo, ao agrupar sequências de tamanhos diferentes

Obtém a ID do token de preenchimento

Obtém o PreTokenizer usado pelo Tokenizer.

Obtém um valor que indica se as marcas de não espaçamento devem ser removidas.

Obtém o token separador, que é usado ao criar uma sequência de várias sequências, por exemplo, duas sequências para classificação de sequência ou para um texto e uma pergunta para responder a perguntas. Ele também é usado como o último token de uma sequência criada com tokens especiais.

Obtém a ID do token separador

Obtém os tokens especiais e suas IDs correspondentes.

Obtém um valor que indica se o tokenizador deve ser dividido nos tokens especiais ou tratar tokens especiais como texto normal.

Obtém o token desconhecido. Um token que não está no vocabulário não pode ser convertido em uma ID e é definido como sendo esse token.

Obtém a ID do token desconhecido. Um token que não está no vocabulário não pode ser convertido em uma ID e é definido como sendo esse token.

Crie entradas de modelo de uma sequência ou um par de sequências para tarefas de classificação de sequência, concatenando e adicionando tokens especiais. Uma sequência BERT tem o seguinte formato: - sequência única: [CLS] tokenIds [SEP] - par de sequências: [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Crie entradas de modelo de uma sequência ou um par de sequências para tarefas de classificação de sequência, concatenando e adicionando tokens especiais. Uma sequência BERT tem o seguinte formato: - sequência única: [CLS] tokenIds [SEP] - par de sequências: [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Crie uma nova instância da BertTokenizer classe .

Crie uma nova instância da BertTokenizer classe .

Crie uma nova instância da BertTokenizer classe de forma assíncrona.

Crie uma nova instância da BertTokenizer classe de forma assíncrona.

Crie uma máscara das duas sequências passadas para serem usadas em uma tarefa de classificação de par de sequências. Uma máscara de par de sequência BERT tem o seguinte formato: 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 | primeira sequência | segunda sequência | Se additionalTokenIds for nulo, esse método retornará apenas a primeira parte das IDs de tipo (0s).

Tokenizer para o modelo Bert.

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada em uma lista de EncodedTokens.

Codifica o texto de entrada em uma lista de EncodedTokens.

Codifica o texto de entrada em uma lista de EncodedTokens.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Recupere a máscara de tokens de sequência de uma lista de IDs.

Recupere a máscara de tokens de sequência de uma lista de IDs.