Model Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentuje model używany podczas tokenizacji (np. BPE lub Word Piece lub Unigram).

public abstract class Model

type Model = class

Public MustInherit Class Model

Dziedziczenie: Object
Model

Pochodne: Microsoft.ML.Tokenizers.Bpe

Microsoft.ML.Tokenizers.EnglishRoberta

Konstruktory

Nazwa	Opis
Model()	Reprezentuje model używany podczas tokenizacji (np. BPE lub Word Piece lub Unigram).

Metody

Nazwa	Opis
GetTrainer()	Pobiera obiekt trenera do użycia w trenowaniu modelu.
GetVocab()	Pobiera tokeny mapowania słownika na identyfikatory.
GetVocabSize()	Pobiera rozmiar słownika mapujący tokeny na identyfikatory.
IdToToken(Int32, Boolean)	Zamapuj tokenizowany identyfikator na token.
Save(String, String)	Zapisz dane modelu w słownictwie i scala pliki.
Tokenize(String)	Tokenizowanie ciągu sekwencji do listy tokenów.
TokenToId(String)	Zamapuj token na tokenizowany identyfikator.

Dotyczy