語言

Token(Int32, String, ValueTuple<Int32,Int32>) 建構函式

定義

利用標記值、Id,以及偏移映射到原始字串,建構一個新的 Token 物件。

public Token(int id, string value,(int, int) offset);
new Microsoft.ML.Tokenizers.Token : int * string * ValueTuple<int, int> -> Microsoft.ML.Tokenizers.Token
Public Sub New (id As Integer, value As String, offset As ValueTuple(Of Integer, Integer))

參數

id
Int32

與該代幣相關的 ID 值。

value
String

標記字串的值。

offset
ValueTuple<Int32,Int32>

偏移映射到原始字串。

適用於