Tokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Fournit une abstraction pour les tokenizers, ce qui permet l’encodage de texte dans des jetons et le décodage des ID de jetons en texte.
public abstract class Tokenizerpublic class Tokenizertype Tokenizer = classPublic MustInherit Class TokenizerPublic Class Tokenizer- Héritage
-
Tokenizer
- Dérivé
Constructeurs
| Nom | Description |
|---|---|
| Tokenizer() |
Initialise une nouvelle instance de la classe Tokenizer. |
| Tokenizer(Model, PreTokenizer, Normalizer) |
Créez un objet Tokenizer. |
Propriétés
| Nom | Description |
|---|---|
| Decoder |
Obtient ou définit le décodeur en cours d’utilisation par le tokenizer. |
| Model |
Obtient le modèle utilisé par le tokenizer. |
| Normalizer |
Obtient le normaliseur en cours d’utilisation par le tokenizer. |
| PreTokenizer |
Obtient le PreTokenizer utilisé par le tokenizer. |
Méthodes
| Nom | Description |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. |
| CountTokens(String, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. |
| Decode(IEnumerable<Int32>, Boolean) |
Décodez les ID donnés, revenez à une chaîne. |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Décodez les ID donnés en texte et stockez le résultat dans l’étendue |
| Decode(IEnumerable<Int32>) |
Décodez les ID donnés, revenez à une chaîne. |
| Decode(Int32, Boolean) |
Décode l’ID du jeton mappé. |
| Encode(String) |
Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton. |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton jusqu’au nombre maximal de jetons. |
| EncodeToIds(String, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton. |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton jusqu’au nombre maximal de jetons. <param name="text">The text to encode.</param> |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée vers les ID de jeton. |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée dans une liste de EncodedTokens. |
| EncodeToTokens(String, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. |
| TrainFromFiles(Trainer, ReportProgress, String[]) |
Entraîner le modèle de tokenizer à l’aide de fichiers d’entrée. |