Idioma

Token Classe

Definição

Represente o token produzido a partir do processo de tokenização que contém a subcadeia de caracteres de token, a ID associada à subcadeia de caracteres do token e o mapeamento de deslocamento para a cadeia de caracteres original.

public sealed class Token
type Token = class
Public NotInheritable Class Token
Herança
Token

Construtores

Nome Description
Token(Int32, String, ValueTuple<Int32,Int32>)

Construa um novo objeto Token usando o valor do token, a ID e o mapeamento de deslocamento para a cadeia de caracteres original.

Propriedades

Nome Description
Id

Obtém o valor da ID associado ao token.

Offset

Obtém o mapeamento de deslocamento para a cadeia de caracteres original.

Value

Obtém o valor da cadeia de caracteres do token.

Aplica-se a