EncodedToken Struktura

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: EncodedToken.cs

Źródło:: EncodedToken.cs

Źródło:: EncodedToken.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentuje token wygenerowany z procesu tokenizacji zawierającego podciąg tokenu, identyfikator skojarzony z podciągem tokenu i mapowanie przesunięcia na oryginalny ciąg.

public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>

type EncodedToken = struct

Public Structure EncodedToken
Implements IEquatable(Of EncodedToken)

Dziedziczenie: ValueType
EncodedToken

Implementuje: IEquatable<EncodedToken>

Konstruktory

Nazwa	Opis
EncodedToken(Int32, String, Range)	Skonstruuj nowy obiekt Token przy użyciu wartości tokenu, identyfikatora i mapowania przesunięcia na oryginalny ciąg.

Właściwości

Nazwa	Opis
Id	Pobiera wartość Identyfikator skojarzona z tokenem.
Offset	Pobiera mapowanie przesunięcia na oryginalny ciąg.
Value	Pobiera wartość ciągu tokenu.

Metody

Nazwa	Opis
Equals(EncodedToken)	Reprezentuje token wygenerowany z procesu tokenizacji zawierającego podciąg tokenu, identyfikator skojarzony z podciągem tokenu i mapowanie przesunięcia na oryginalny ciąg.

Dotyczy