Język

EncodedToken(Int32, String, Range) Konstruktor

Definicja

Skonstruuj nowy obiekt Token przy użyciu wartości tokenu, identyfikatora i mapowania przesunięcia na oryginalny ciąg.

public EncodedToken(int id, string value, Range offset);
new Microsoft.ML.Tokenizers.EncodedToken : int * string * Range -> Microsoft.ML.Tokenizers.EncodedToken
Public Sub New (id As Integer, value As String, offset As Range)

Parametry

id
Int32

Wartość Identyfikator skojarzona z tokenem.

value
String

Wartość ciągu tokenu.

offset
Range

Przesunięcie mapowane na oryginalny ciąg.

Dotyczy