語言

EncodedToken(Int32, String, Range) 建構函式

定義

利用標記值、Id,以及偏移映射到原始字串,建構一個新的 Token 物件。

public EncodedToken(int id, string value, Range offset);
new Microsoft.ML.Tokenizers.EncodedToken : int * string * Range -> Microsoft.ML.Tokenizers.EncodedToken
Public Sub New (id As Integer, value As String, offset As Range)

參數

id
Int32

與該代幣相關的 ID 值。

value
String

標記字串的值。

offset
Range

偏移映射到原始字串。

適用於