Bpe Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentuje model kodowania par bajtów.

public sealed class Bpe : Microsoft.ML.Tokenizers.Model

type Bpe = class
    inherit Model

Public NotInheritable Class Bpe
Inherits Model

Dziedziczenie: Object

Model
Bpe

Konstruktory

Nazwa	Opis
Bpe()	Konstruowanie nowego obiektu modelu Bpe bez słownictwa tokenizacji. Ten konstruktor jest przydatny tylko w scenariuszu trenowania.
Bpe(String, String, String, String, String)	Skonstruuj nowy obiekt modelu Bpe do użycia na potrzeby tokenizacji zdań i trenowania tokenizatora.

Właściwości

Nazwa	Opis
ContinuingSubwordPrefix	Prefiks, który ma być używany dla każdego podwordu, który nie jest początkiem słowa
Decoder	Pobiera obiekt dekodera Bpe.
EndOfWordSuffix	Opcjonalny sufiks do scharakteryzowania i końca wyrazu podrzędnego
FuseUnknownTokens	Pobiera lub ustawia, czy zezwalanie na łączenie wielu nieznanych tokenów
UnknownToken	Pobiera lub ustawia nieznany token. Nieznany token do użycia w przypadku napotkania nieznanego znaku

Metody

Nazwa	Opis
GetTrainer()	Pobiera obiekt trenera do użycia w trenowaniu modelu i generuje słownictwo i scala dane.
GetVocab()	Pobiera tokeny mapowania słownika na identyfikatory.
GetVocabSize()	Pobiera rozmiar słownika mapujący tokeny na identyfikatory.
IdToToken(Int32, Boolean)	Zamapuj tokenizowany identyfikator na token.
Save(String, String)	Zapisz dane modelu w słownictwie i scala pliki.
Tokenize(String)	Tokenizowanie ciągu sekwencji do listy tokenów.
TokenToId(String)	Zamapuj token na tokenizowany identyfikator.

Dotyczy