Tokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Fornece uma abstração para tokenizadores, permitindo a codificação de texto em tokens e a decodificação de IDs de token de volta ao texto.
public abstract class Tokenizerpublic class Tokenizertype Tokenizer = classPublic MustInherit Class TokenizerPublic Class Tokenizer- Herança
-
Tokenizer
- Derivado
Construtores
| Nome | Description |
|---|---|
| Tokenizer() |
Inicializa uma nova instância da classe Tokenizer. |
| Tokenizer(Model, PreTokenizer, Normalizer) |
Crie um novo objeto Tokenizer. |
Propriedades
| Nome | Description |
|---|---|
| Decoder |
Obtém ou define o Decodificador em uso pelo Tokenizer. |
| Model |
Obtém o modelo em uso pelo Tokenizer. |
| Normalizer |
Obtém o Normalizador em uso pelo Tokenizer. |
| PreTokenizer |
Obtém o PreTokenizer usado pelo Tokenizer. |
Métodos
| Nome | Description |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. |
| CountTokens(String, Boolean, Boolean) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. |
| Decode(IEnumerable<Int32>, Boolean) |
Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres. |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no |
| Decode(IEnumerable<Int32>) |
Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres. |
| Decode(Int32, Boolean) |
Decodifica a ID para o token mapeado. |
| Encode(String) |
Codifica o texto de entrada para objeto tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada para IDs de token até o número máximo de tokens. |
| EncodeToIds(String, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada para IDs de token até o número máximo de tokens. <param name="text">O texto a ser codificado.</param> |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica o texto de entrada em IDs de token. |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codifica o texto de entrada em uma lista de EncodedTokens. |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica o texto de entrada em uma lista de EncodedTokens. |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codifica o texto de entrada em uma lista de EncodedTokens. |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. |
| TrainFromFiles(Trainer, ReportProgress, String[]) |
Treine o modelo do tokenizador usando arquivos de entrada. |