EncodedToken Structure
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Représentez le jeton généré à partir du processus de jeton contenant la sous-chaîne de jeton, l’ID associé à la sous-chaîne de jeton et le mappage de décalage à la chaîne d’origine.
public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>type EncodedToken = structPublic Structure EncodedToken
Implements IEquatable(Of EncodedToken)- Héritage
-
EncodedToken
- Implémente
Constructeurs
| Nom | Description |
|---|---|
| EncodedToken(Int32, String, Range) |
Construisez un nouvel objet Token à l’aide de la valeur du jeton, de l’ID et du mappage de décalage à la chaîne d’origine. |
Propriétés
| Nom | Description |
|---|---|
| Id |
Obtient la valeur Id associée au jeton. |
| Offset |
Obtient le mappage de décalage sur la chaîne d’origine. |
| Value |
Obtient la valeur de chaîne de jeton. |
Méthodes
| Nom | Description |
|---|---|
| Equals(EncodedToken) |
Représentez le jeton généré à partir du processus de jeton contenant la sous-chaîne de jeton, l’ID associé à la sous-chaîne de jeton et le mappage de décalage à la chaîne d’origine. |