LlamaTokenizer Classe

Indique a emissão do início do token de sentença durante a codificação.

Indique a emissão do caractere de prefixo U+2581 no início do token de sentença durante a normalização e a codificação.

Indique a emissão do token de fim de sentença durante a codificação.

A ID do início do token de sentença.

O início do token de sentença.

Especifica se o modelo fará um fallback de bytes quando encontrar tokens desconhecidos durante o processo de codificação.

A ID do final do token de sentença.

O fim do token de sentença.

Indique se os espaços devem ser substituídos pelo caractere U+2581 durante a normalização e a codificação.

Obtém o Normalizador em uso pelo Tokenizer.

Obtém o PreTokenizer usado pelo Tokenizer.

Os tokens especiais.

Indique a emissão do caractere U+2581 no final do último token de sentença, em vez do início do token de sentença durante a normalização e a codificação.

A ID do token desconhecido.

O token desconhecido.

O vocabulário do modelo.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Crie a partir do fluxo de modelo fornecido um LlamaTokenizer baseado em SentencePieceTokenizer. O fluxo de modelo deve conter o modelo SentencePiece Bpe de acordo com a https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto especificação.

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

Codifica o texto de entrada em IDs de token.

Codifica o texto de entrada de uma lista de EncodedTokens com o valor da cadeia de caracteres do token, da ID e do deslocamento.

Codifica o texto de entrada em uma lista de EncodedTokens.

Codifica o texto de entrada em uma lista de EncodedTokens.

Codifica o texto de entrada de uma lista de EncodedTokens com o valor da cadeia de caracteres do token, da ID e do deslocamento.

Codifica o texto de entrada em uma lista de EncodedTokens.

Localize o índice da capacidade máxima de codificação desde o início dentro do texto sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação desde o início dentro do texto sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token.

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.