Language

Token クラス

定義

トークン部分文字列、トークン部分文字列に関連付けられた ID、および元の文字列へのオフセット マッピングを含むトークン化プロセスから生成されたトークンを表します。

public sealed class Token
type Token = class
Public NotInheritable Class Token
継承
Token

コンストラクター

名前 説明
Token(Int32, String, ValueTuple<Int32,Int32>)

トークン値、ID、および元の文字列へのオフセット マッピングを使用して、新しい Token オブジェクトを構築します。

プロパティ

名前 説明
Id

トークンに関連付けられている ID 値を取得します。

Offset

元の文字列へのオフセット マッピングを取得します。

Value

トークン文字列値を取得します。

適用対象