Idioma

SentencePieceTokenizer Classe

Definição

SentencePieceBpe é um tokenizador que divide a entrada em tokens usando o modelo SentencePiece Bpe.

public class SentencePieceTokenizer : Microsoft.ML.Tokenizers.Tokenizer
type SentencePieceTokenizer = class
    inherit Tokenizer
Public Class SentencePieceTokenizer
Inherits Tokenizer
Herança
SentencePieceTokenizer
Derivado

Propriedades

Nome Description
AddBeginningOfSentence

Indique a emissão do início do token de sentença durante a codificação.

AddDummyPrefix

Indique a emissão do caractere de prefixo U+2581 no início do token de sentença durante a normalização e a codificação.

AddEndOfSentence

Indique a emissão do token de fim de sentença durante a codificação.

BeginningOfSentenceId

A ID do início do token de sentença.

BeginningOfSentenceToken

O início do token de sentença.

ByteFallback

Especifica se o modelo fará um fallback de bytes quando encontrar tokens desconhecidos durante o processo de codificação.

EndOfSentenceId

A ID do final do token de sentença.

EndOfSentenceToken

O fim do token de sentença.

EscapeWhiteSpaces

Indique se os espaços devem ser substituídos pelo caractere U+2581 durante a normalização e a codificação.

Normalizer

Obtém o Normalizador em uso pelo Tokenizer.

PreTokenizer

Obtém o PreTokenizer usado pelo Tokenizer.

SpecialTokens

Os tokens especiais.

TreatWhitespaceAsSuffix

Indique a emissão do caractere U+2581 no final do último token de sentença, em vez do início do token de sentença durante a normalização e a codificação.

UnknownId

A ID do token desconhecido.

UnknownToken

O token desconhecido.

Vocabulary

O vocabulário do modelo.

Métodos

Nome Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

(Herdado de Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

CountTokens(String, Boolean, Boolean, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

CountTokens(String, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

(Herdado de Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Create(Stream, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)

Cria uma instância de SentencePieceTokenizer. O fluxo de modelo deve conter um modelo SentencePiece, conforme especificado na seguinte documentação: https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto.

Decode(IEnumerable<Int32>, Boolean)

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decode(IEnumerable<Int32>)

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

(Herdado de Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

(Herdado de Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

EncodeToIds(String, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

(Herdado de Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

<param name="text">O texto a ser codificado.</param> (Herdado de Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

Codifica o texto de entrada em IDs de token.

EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean, Boolean, Boolean)

Codifica o texto de entrada de uma lista de EncodedTokens com o valor da cadeia de caracteres do token, da ID e do deslocamento.

EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)

Codifica o texto de entrada em uma lista de EncodedTokens.

(Herdado de Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Codifica o texto de entrada em uma lista de EncodedTokens.

EncodeToTokens(String, String, Boolean, Boolean, Boolean, Boolean)

Codifica o texto de entrada de uma lista de EncodedTokens com o valor da cadeia de caracteres do token, da ID e do deslocamento.

EncodeToTokens(String, String, Boolean, Boolean)

Codifica o texto de entrada em uma lista de EncodedTokens.

(Herdado de Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação desde o início dentro do texto sem ultrapassar o limite de token.

GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCount(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação desde o início dentro do texto sem ultrapassar o limite de token.

GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Boolean, Boolean, Int32, Boolean, String, Int32)

Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token.

GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCountFromEnd(String, Boolean, Boolean, Int32, Boolean, String, Int32)

Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token.

GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)

Aplica-se a