TokenizerResult Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
L’encodage représente la sortie d’un tokenizer.
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- Héritage
-
TokenizerResult
Constructeurs
| Nom | Description |
|---|---|
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
Créez un objet de l’objet TokenizerResult. |
Propriétés
| Nom | Description |
|---|---|
| Ids |
Obtient la liste des ID de jetons. Les ID sont l’entrée principale d’un modèle de langage. Il s’agit des index de jeton, les représentations numériques qu’un LM comprend. |
| NormalizedString |
Obtient la forme normalisée de la chaîne d’origine. |
| Offsets |
Obtient la liste des décalages. Ces décalages vous permettent de découper la chaîne d’entrée et donc de récupérer la partie d’origine qui a conduit à produire le jeton correspondant. |
| OffsetsMappedToOriginalString |
Obtient la forme normalisée de la chaîne d’origine. |
| OriginalString |
Obtient la chaîne tokenisée d’origine. |
| Tokens |
Obtient les jetons générés. Il s’agit de la représentation sous forme de chaîne des ID. |