EnglishRobertaTokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Represente o modelo de codificação de par de bytes.
public sealed class EnglishRobertaTokenizer : Microsoft.ML.Tokenizers.Tokenizertype EnglishRobertaTokenizer = class
inherit TokenizerPublic NotInheritable Class EnglishRobertaTokenizer
Inherits Tokenizer- Herança
Propriedades
| Nome | Description |
|---|---|
| FilterUnsupportedChars |
Indique se deseja filtrar os caracteres sem suporte durante a decodificação. |
| Normalizer |
Obtém o Normalizador em uso pelo Tokenizer. |
| PadIndex |
Obtém o índice do símbolo do painel dentro da lista de símbolos. |
| PreTokenizer |
Obtém o PreTokenizer usado pelo Tokenizer. |
| SymbolsCount |
Obtém o comprimento da lista de símbolos. |
| Vocabulary |
Obtém os tokens de mapeamento de dicionário para Ids. |
Métodos
| Nome | Description |
|---|---|
| AddMaskSymbol(String) |
Adicione o símbolo de máscara à lista de símbolos. |
| ConvertIdsToOccurrenceRanks(IReadOnlyList<Int32>) |
Converta uma lista de IDs de token em classificações de ocorrência mais altas. |
| ConvertIdsToOccurrenceValues(IReadOnlyList<Int32>) |
Converta uma lista de IDs de token em valores de ocorrência mais altos. |
| ConvertOccurrenceRanksToIds(IReadOnlyList<Int32>) |
Converter uma lista das classificações de ocorrência mais altas na lista de IDs de token. |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. (Herdado de Tokenizer) |
| CountTokens(String, Boolean, Boolean) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. (Herdado de Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenha o número de tokens aos quais o texto de entrada será codificado. (Herdado de Tokenizer) |
| Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
| Create(Stream, Stream, Stream) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
| Create(String, String, String, PreTokenizer, Normalizer, Boolean) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
| Create(String, String, String) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no |
| Decode(IEnumerable<Int32>) |
Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. (Herdado de Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada para IDs de token até o número máximo de tokens. (Herdado de Tokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. (Herdado de Tokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada para IDs de token até o número máximo de tokens. <param name="text">O texto a ser codificado.</param> (Herdado de Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica o texto de entrada em IDs de token. (Herdado de Tokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codifica o texto de entrada em uma lista de EncodedTokens. (Herdado de Tokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica o texto de entrada em uma lista de EncodedTokens. (Herdado de Tokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codifica o texto de entrada em uma lista de EncodedTokens. (Herdado de Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação sem ultrapassar o limite de token. (Herdado de Tokenizer) |
| IsSupportedChar(Char) |
Verifique se o caractere tem suporte no modelo do tokenizador. |