EnglishRobertaTokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Représente le modèle d’encodage de paire d’octets.
public sealed class EnglishRobertaTokenizer : Microsoft.ML.Tokenizers.Tokenizertype EnglishRobertaTokenizer = class
inherit TokenizerPublic NotInheritable Class EnglishRobertaTokenizer
Inherits Tokenizer- Héritage
Propriétés
| Nom | Description |
|---|---|
| FilterUnsupportedChars |
Indiquez si vous souhaitez filtrer les caractères non pris en charge pendant le décodage. |
| Normalizer |
Obtient le normaliseur en cours d’utilisation par le tokenizer. |
| PadIndex |
Obtient l’index du symbole de remplissage à l’intérieur de la liste des symboles. |
| PreTokenizer |
Obtient le PreTokenizer utilisé par le tokenizer. |
| SymbolsCount |
Obtient la longueur de la liste des symboles. |
| Vocabulary |
Obtient les jetons de mappage de dictionnaire en ID. |
Méthodes
| Nom | Description |
|---|---|
| AddMaskSymbol(String) |
Ajoutez le symbole de masque à la liste des symboles. |
| ConvertIdsToOccurrenceRanks(IReadOnlyList<Int32>) |
Convertissez une liste d’ID de jeton en classements d’occurrences les plus élevés. |
| ConvertIdsToOccurrenceValues(IReadOnlyList<Int32>) |
Convertissez une liste d’ID de jeton en valeurs d’occurrence les plus élevées. |
| ConvertOccurrenceRanksToIds(IReadOnlyList<Int32>) |
Convertissez une liste de classements d’occurrences les plus élevés en liste d’ID de jeton. |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de Tokenizer) |
| CountTokens(String, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de Tokenizer) |
| Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean) |
Créez l’objet de modèle du générateur de jetons à utiliser avec le modèle Robert anglais. |
| Create(Stream, Stream, Stream) |
Créez l’objet de modèle du générateur de jetons à utiliser avec le modèle Robert anglais. |
| Create(String, String, String, PreTokenizer, Normalizer, Boolean) |
Créez l’objet de modèle du générateur de jetons à utiliser avec le modèle Robert anglais. |
| Create(String, String, String) |
Créez l’objet de modèle du générateur de jetons à utiliser avec le modèle Robert anglais. |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Décodez les ID donnés en texte et stockez le résultat dans l’étendue |
| Decode(IEnumerable<Int32>) |
Décodez les ID donnés, revenez à une chaîne. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton. (Hérité de Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton jusqu’au nombre maximal de jetons. (Hérité de Tokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton. (Hérité de Tokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton jusqu’au nombre maximal de jetons. <param name="text">The text to encode.</Param> (Hérité de Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée vers les ID de jeton. (Hérité de Tokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. (Hérité de Tokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée dans une liste de EncodedTokens. (Hérité de Tokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. (Hérité de Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| IsSupportedChar(Char) |
Vérifiez si le caractère est pris en charge par le modèle du générateur de jetons. |