Bpe Konstruktoren
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| Bpe() |
Erstellen Sie ein neues Bpe-Modellobjekt ohne Tokenisierungsvokabular. Dieser Konstruktor ist nur im Schulungsszenario hilfreich. |
| Bpe(String, String, String, String, String) |
Erstellen Sie ein neues Bpe-Modellobjekt, das für die Schulung von Satztokentoken und Tokenizern verwendet werden soll. |
Bpe()
Erstellen Sie ein neues Bpe-Modellobjekt ohne Tokenisierungsvokabular. Dieser Konstruktor ist nur im Schulungsszenario hilfreich.
public Bpe();Public Sub New ()Gilt für:
Bpe(String, String, String, String, String)
Erstellen Sie ein neues Bpe-Modellobjekt, das für die Schulung von Satztokentoken und Tokenizern verwendet werden soll.
public Bpe(string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.BpePublic Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)Parameter
- vocabFile
- String
Der JSON-Dateipfad, der das Wörterbuch von Zeichenfolgenschlüsseln und deren IDs enthält.
- mergesFile
- String
Der Dateipfad, der die Liste der Tokenpaare enthält.
- unknownToken
- String
Das unbekannte Token, das vom Modell verwendet werden soll.
- continuingSubwordPrefix
- String
Das Präfix, das an Unterworteinheiten angefügt werden soll, die keinen Anfang des Worts darstellen.
- endOfWordSuffix
- String
Das Suffix, das an Unterworteinheiten angefügt werden soll, die ein Wortende darstellen.