Idioma

WordPieceTokenizer Classe

Definição

Represente o tokenizador wordpiece.

public class WordPieceTokenizer : Microsoft.ML.Tokenizers.Tokenizer
type WordPieceTokenizer = class
    inherit Tokenizer
Public Class WordPieceTokenizer
Inherits Tokenizer
Herança
WordPieceTokenizer
Derivado

Comentários

O tokenizador wordpiece é um tokenizador de sublinha que é usado em BERT e em outros modelos de transformador. A implementação é baseada no token de WordPiece de Reconhecimento Facial https://huggingface.co/docs/tokenizers/api/models#tokenizers.models.WordPiece.

Propriedades

Nome Description
ContinuingSubwordPrefix

Obtém o prefixo a ser usado para sub-palavras que não são a primeira parte de uma palavra.

MaxInputCharsPerWord

Obtém o número máximo de caracteres a serem autorizados em uma única palavra.

Normalizer

Obtém o Normalizador em uso pelo Tokenizer.

PreTokenizer

Obtém o PreTokenizer usado pelo Tokenizer.

SpecialTokens

Obtém os tokens especiais e suas IDs correspondentes.

UnknownToken

Obtém o token desconhecido. Um token que não está no vocabulário não pode ser convertido em uma ID e é definido como sendo esse token.

UnknownTokenId

Obtém a ID do token desconhecido. Um token que não está no vocabulário não pode ser convertido em uma ID e é definido como sendo esse token.

Métodos

Nome Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

(Herdado de Tokenizer)
CountTokens(String, Boolean, Boolean)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

(Herdado de Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Obtenha o número de tokens aos quais o texto de entrada será codificado.

Create(Stream, WordPieceOptions)

Crie uma nova instância da WordPieceTokenizer classe .

Create(String, WordPieceOptions)

Crie uma nova instância da WordPieceTokenizer classe .

CreateAsync(Stream, WordPieceOptions, CancellationToken)

Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.

CreateAsync(String, WordPieceOptions, CancellationToken)

Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.

Decode(IEnumerable<Int32>, Boolean)

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

Decode(IEnumerable<Int32>)

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

(Herdado de Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

(Herdado de Tokenizer)
EncodeToIds(String, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

(Herdado de Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada para IDs de token até o número máximo de tokens.

<param name="text">O texto a ser codificado.</param> (Herdado de Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

Codifica o texto de entrada em IDs de token.

EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)

Codifica o texto de entrada em uma lista de EncodedTokens.

(Herdado de Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Codifica o texto de entrada em uma lista de EncodedTokens.

EncodeToTokens(String, String, Boolean, Boolean)

Codifica o texto de entrada em uma lista de EncodedTokens.

(Herdado de Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token.

(Herdado de Tokenizer)

Aplica-se a