Language

EncodedToken(Int32, String, Range) コンストラクター

定義

トークン値、ID、および元の文字列へのオフセット マッピングを使用して、新しい Token オブジェクトを構築します。

public EncodedToken(int id, string value, Range offset);
new Microsoft.ML.Tokenizers.EncodedToken : int * string * Range -> Microsoft.ML.Tokenizers.EncodedToken
Public Sub New (id As Integer, value As String, offset As Range)

パラメーター

id
Int32

トークンに関連付けられている ID 値。

value
String

トークン文字列値。

offset
Range

元の文字列へのオフセット マッピング。

適用対象