Langue

EncodedToken(Int32, String, Range) Constructeur

Définition

Construisez un nouvel objet Token à l’aide de la valeur du jeton, de l’ID et du mappage de décalage à la chaîne d’origine.

public EncodedToken(int id, string value, Range offset);
new Microsoft.ML.Tokenizers.EncodedToken : int * string * Range -> Microsoft.ML.Tokenizers.EncodedToken
Public Sub New (id As Integer, value As String, offset As Range)

Paramètres

id
Int32

Valeur d’ID associée au jeton.

value
String

Valeur de chaîne de jeton.

offset
Range

Mappage de décalage à la chaîne d’origine.

S’applique à