語言

Token 類別

定義

表示由分詞化過程中產生的標記,包含標記子字串、與標記子串相關的 id,以及與原始字串相關的偏移映射。

public sealed class Token
type Token = class
Public NotInheritable Class Token
繼承
Token

建構函式

名稱 Description
Token(Int32, String, ValueTuple<Int32,Int32>)

利用標記值、Id,以及偏移映射到原始字串,建構一個新的 Token 物件。

屬性

名稱 Description
Id

會取得與該代幣相關的 ID 值。

Offset

取得對應原始字串的偏移映射。

Value

取得標記字串值。

適用於