BpeTrainer Klasse

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v0.20.1

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Der bpe Trainer, der für die Ausbildung des Bpe-Modells verantwortlich ist.

public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainer

type BpeTrainer = class
    inherit Trainer

Public NotInheritable Class BpeTrainer
Inherits Trainer

Vererbung: Object

Trainer
BpeTrainer

Konstruktoren

Name	Beschreibung
BpeTrainer()	Erstellen Sie ein neues BpeTrainer-Objekt mit den Standardwerten.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Erstellen Sie ein neues BpeTrainer-Objekt.

Eigenschaften

Name	Beschreibung
ContinuingSubwordPrefix	Ruft das Präfix ab, das für jedes Unterwort verwendet werden soll, das kein Anfang des Worts ist.
EndOfWordSuffix	Ruft das Suffix ab, das für jedes Unterwort verwendet werden soll, das ein Wortende ist.
InitialAlphabet	Ruft die Liste der Zeichen ab, die in das anfängliche Alphabet eingeschlossen werden sollen, auch wenn sie nicht im Schulungsdatensatz angezeigt werden. Wenn die Zeichenfolgen mehr als ein Zeichen enthalten, wird nur der erste beibehalten.
LimitAlphabet	Ruft die maximal zulässigen Zeichen im Alphabet ab.
MinFrequency	Ruft die Mindesthäufigkeit eines Paares ab, um zusammengeführt werden zu können.
Progress	Legen Sie fest, wann der Fortschritt während der Schulung angezeigt werden muss. (Geerbt von Trainer)
SpecialTokens	Ruft die Liste der speziellen Token ab, von der das Modell wissen sollte.
VocabSize	Ruft die Größe des endgültigen Vokabulars ab, einschließlich aller Token und Alphabete.

Methoden

Name	Beschreibung
Feed(IEnumerable<String>, Func<String,IEnumerable<String>>)	Verarbeiten Sie die Eingabesequenzen, und feeden Sie das Ergebnis in das Modell ein.
Train(Model)	Führen Sie die eigentliche Schulung aus, und aktualisieren Sie das Eingabemodell mit den neuen Vokabularen und führt Daten zusammen.

Gilt für: