EnglishRoberta Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentuje model kodowania par bajtów.

public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Model

type EnglishRoberta = class
    inherit Model

Public NotInheritable Class EnglishRoberta
Inherits Model

Dziedziczenie: Object

Model
EnglishRoberta

Konstruktory

Nazwa	Opis
EnglishRoberta(Stream, Stream, Stream)	Konstruowanie obiektu tokenizatora do użycia z angielskim modelem Roberta.
EnglishRoberta(String, String, String)	Konstruowanie obiektu tokenizatora do użycia z angielskim modelem Roberta.

Właściwości

Nazwa	Opis
PadIndex	Pobiera indeks symbolu okienka na liście symboli.
SymbolsCount	Pobiera długość listy symboli.

Metody

Nazwa	Opis
AddMaskSymbol(String)	Dodaj symbol maski do listy symboli.
GetTrainer()	Pobiera obiekt trenera do użycia w trenowaniu modelu i generuje słownictwo i scala dane.
GetVocab()	Pobiera tokeny mapowania słownika na identyfikatory.
GetVocabSize()	Pobiera rozmiar słownika mapujący tokeny na identyfikatory.
IdsToOccurrenceRanks(IReadOnlyList<Int32>)	Przekonwertuj listę identyfikatorów tokenów na najwyższe klasyfikacje wystąpień.
IdsToOccurrenceValues(IReadOnlyList<Int32>)	Przekonwertuj listę identyfikatorów tokenów na najwyższe wartości wystąpień.
IdToToken(Int32, Boolean)	Zamapuj tokenizowany identyfikator na token.
OccurrenceRanksIds(IReadOnlyList<Int32>)	Przekonwertuj listę najwyższych klasyfikacji wystąpień na listę identyfikatorów tokenów .
Save(String, String)	Zapisz dane modelu w słownictwie, scala i pliki mapowania wystąpień.
Tokenize(String)	Tokenizowanie ciągu sekwencji do listy tokenów.
TokenToId(String)	Zamapuj token na tokenizowany identyfikator.

Dotyczy