TokenizerResult Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Kodowanie reprezentuje dane wyjściowe tokenizatora.

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

Dziedziczenie: Object
TokenizerResult

Konstruktory

Nazwa	Opis
TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)	Utwórz nowy obiekt obiektu TokenizerResult.

Właściwości

Nazwa	Opis
Ids	Pobiera listę identyfikatorów tokenów. Identyfikatory są głównymi danymi wejściowymi modelu językowego. Są to indeksy tokenów, reprezentacje liczbowe, które rozumie LM.
NormalizedString	Pobiera znormalizowaną formę oryginalnego ciągu.
Offsets	Pobiera listę przesunięć. Te przesunięcia umożliwiają wycinek ciągu wejściowego, a tym samym pobranie oryginalnej części, która doprowadziła do utworzenia odpowiedniego tokenu.
OffsetsMappedToOriginalString	Pobiera znormalizowaną formę oryginalnego ciągu.
OriginalString	Pobiera oryginalny ciąg tokenizowany.
Tokens	Pobiera wygenerowane tokeny. Są one reprezentacją ciągów identyfikatorów.

Dotyczy