Token Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentuje token wygenerowany z procesu tokenizacji zawierającego podciąg tokenu, identyfikator skojarzony z podciągem tokenu i mapowanie przesunięcia na oryginalny ciąg.

public sealed class Token

type Token = class

Public NotInheritable Class Token

Dziedziczenie: Object
Token

Konstruktory

Nazwa	Opis
Token(Int32, String, ValueTuple<Int32,Int32>)	Skonstruuj nowy obiekt Token przy użyciu wartości tokenu, identyfikatora i mapowania przesunięcia na oryginalny ciąg.

Właściwości

Nazwa	Opis
Id	Pobiera wartość Identyfikator skojarzona z tokenem.
Offset	Pobiera mapowanie przesunięcia na oryginalny ciąg.
Value	Pobiera wartość ciągu tokenu.

Dotyczy