WordPieceTokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Represente o tokenizador wordpiece.
public class WordPieceTokenizer : Microsoft.ML.Tokenizers.Tokenizer
type WordPieceTokenizer = class
inherit Tokenizer
Public Class WordPieceTokenizer
Inherits Tokenizer
- Herança
- Derivado
Comentários
O tokenizador wordpiece é um tokenizador de sublinha que é usado em BERT e em outros modelos de transformador. A implementação é baseada no token de WordPiece de Reconhecimento Facial https://huggingface.co/docs/tokenizers/api/models#tokenizers.models.WordPiece.
Propriedades
| Nome | Description |
|---|---|
| ContinuingSubwordPrefix |
Obtém o prefixo a ser usado para sub-palavras que não são a primeira parte de uma palavra. |
| MaxInputCharsPerWord |
Obtém o número máximo de caracteres a serem autorizados em uma única palavra. |
| Normalizer |
Obtém o Normalizador em uso pelo Tokenizer. |
| PreTokenizer |
Obtém o PreTokenizer usado pelo Tokenizer. |
| SpecialTokens |
Obtém os tokens especiais e suas IDs correspondentes. |
| UnknownToken |
Obtém o token desconhecido. Um token que não está no vocabulário não pode ser convertido em uma ID e é definido como sendo esse token. |
| UnknownTokenId |
Obtém a ID do token desconhecido. Um token que não está no vocabulário não pode ser convertido em uma ID e é definido como sendo esse token. |
Métodos
| Nome | Description |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. (Herdado de Tokenizer) |
| CountTokens(String, Boolean, Boolean) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. (Herdado de Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. |
| Create(Stream, WordPieceOptions) |
Crie uma nova instância da WordPieceTokenizer classe . |
| Create(String, WordPieceOptions) |
Crie uma nova instância da WordPieceTokenizer classe . |
| CreateAsync(Stream, WordPieceOptions, CancellationToken) |
Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona. |
| CreateAsync(String, WordPieceOptions, CancellationToken) |
Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona. |
| Decode(IEnumerable<Int32>, Boolean) |
Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres. |
| Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32) |
Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no |
| Decode(IEnumerable<Int32>) |
Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. (Herdado de Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada para IDs de token até o número máximo de tokens. (Herdado de Tokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. (Herdado de Tokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada para IDs de token até o número máximo de tokens. <param name="text">O texto a ser codificado.</param> (Herdado de Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica o texto de entrada em IDs de token. |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codifica o texto de entrada em uma lista de EncodedTokens. (Herdado de Tokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica o texto de entrada em uma lista de EncodedTokens. |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codifica o texto de entrada em uma lista de EncodedTokens. (Herdado de Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |