Idioma

TiktokenTokenizer Classe

Definição

Represente o token de codificação de par de bytes rápido.

public sealed class TiktokenTokenizer : Microsoft.ML.Tokenizers.Tokenizer
type TiktokenTokenizer = class
    inherit Tokenizer
Public NotInheritable Class TiktokenTokenizer
Inherits Tokenizer
Herança
TiktokenTokenizer

Propriedades

Nome Description
Normalizer

Obtém o Normalizador em uso pelo Tokenizer.

PreTokenizer

Obtém o PreTokenizer usado pelo Tokenizer.

SpecialTokens

Obtém os tokens especiais de mapeamento de dicionário para IDs.

Métodos

Nome Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

(Herdado de Tokenizer)
CountTokens(String, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

(Herdado de Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

(Herdado de Tokenizer)
Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

Crie um novo objeto do tokenizer Tiktoken.

Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

Crie um novo objeto do tokenizer Tiktoken.

CreateAsync(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)

Crie um novo objeto do tokenizer Tiktoken de forma assíncrona.

CreateAsync(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)

Crie um novo objeto do tokenizer Tiktoken de forma assíncrona.

CreateForEncoding(String, IReadOnlyDictionary<String,Int32>, Normalizer)

Criar tokenizer com base no nome da codificação

CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

Criar tokenizer com base no nome do modelo

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

Crie um tokenizador Tiktoken com base no nome do modelo e no arquivo vocab.

CreateForModelAsync(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer, CancellationToken)

Crie um tokenizador Tiktoken com base no nome do modelo e no arquivo vocab.

Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decode(IEnumerable<Int32>)

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

(Herdado de Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

(Herdado de Tokenizer)
EncodeToIds(String, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

(Herdado de Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

<param name="text">O texto a ser codificado.</param> (Herdado de Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

Codifica o texto de entrada em IDs de token.

(Herdado de Tokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)

Codifica o texto de entrada em uma lista de EncodedTokens.

(Herdado de Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Codifica o texto de entrada em uma lista de EncodedTokens.

(Herdado de Tokenizer)
EncodeToTokens(String, String, Boolean, Boolean)

Codifica o texto de entrada em uma lista de EncodedTokens.

(Herdado de Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)

Aplica-se a