EnglishRobertaTokenizer.Create Methode

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Überlädt

Name	Beschreibung
Create(Stream, Stream, Stream)	Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.
Create(String, String, String)	Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.
Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)	Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.
Create(String, String, String, PreTokenizer, Normalizer, Boolean)	Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.

Create(Stream, Stream, Stream)

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream) As EnglishRobertaTokenizer

Parameter

vocabularyStream: Stream

Der Stream einer JSON-Datei, die das Wörterbuch von Zeichenfolgenschlüsseln und deren IDs enthält.

mergeStream: Stream

Der Datenstrom einer Datei, die die Liste der Tokenpaare enthält.

highestOccurrenceMappingStream: Stream

Ordnen Sie die ursprünglichen GPT-2-Modell-IDs zu hohen Vorkommensbewertungen und -werten neu zu.

Gibt zurück

EnglishRobertaTokenizer

Hinweise

Stellen Sie beim Erstellen des Tokenizers sicher, dass der Vokabulardatenstrom von einem vertrauenswürdigen Anbieter stammt.

Gilt für:

Create(String, String, String)

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);

static member Create : string * string * string -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String) As EnglishRobertaTokenizer

Parameter

vocabularyPath: String

Der JSON-Dateipfad, der das Wörterbuch von Zeichenfolgenschlüsseln und deren IDs enthält.

mergePath: String

Der Dateipfad, der die Liste der Tokenpaare enthält.

highestOccurrenceMappingPath: String

Ordnen Sie die ursprünglichen GPT-2-Modell-IDs zu hohen Vorkommensbewertungen und -werten neu zu.

Gibt zurück

EnglishRobertaTokenizer

Hinweise

Stellen Sie beim Erstellen des Tokenizers sicher, dass die Vokabulardatei von einem vertrauenswürdigen Anbieter stammt.

Gilt für:

Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parameter

vocabularyStream: Stream

Der Stream einer JSON-Datei, die das Wörterbuch von Zeichenfolgenschlüsseln und deren IDs enthält.

mergeStream: Stream

Der Datenstrom einer Datei, die die Liste der Tokenpaare enthält.

highestOccurrenceMappingStream: Stream

Ordnen Sie die ursprünglichen GPT-2-Modell-IDs zu hohen Vorkommensbewertungen und -werten neu zu.

preTokenizer: PreTokenizer

Der zu verwendende Prätokenizer.

normalizer: Normalizer

Der zu verwendende Normalisierer.

filterUnsupportedChars: Boolean

Geben Sie an, ob die nicht unterstützten Zeichen während der Decodierung gefiltert werden sollen.

Gibt zurück

EnglishRobertaTokenizer

Hinweise

Stellen Sie beim Erstellen des Tokenizers sicher, dass der Vokabulardatenstrom von einem vertrauenswürdigen Anbieter stammt.

Gilt für:

Create(String, String, String, PreTokenizer, Normalizer, Boolean)

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Quelle:: EnglishRobertaTokenizer.cs

Erstellen Sie das Modellobjekt des Tokenizers, das mit dem englischen Robert-Modell verwendet werden soll.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : string * string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parameter

vocabularyPath: String

Der JSON-Dateipfad, der das Wörterbuch von Zeichenfolgenschlüsseln und deren IDs enthält.

mergePath: String

Der Dateipfad, der die Liste der Tokenpaare enthält.

highestOccurrenceMappingPath: String

Ordnen Sie die ursprünglichen GPT-2-Modell-IDs zu hohen Vorkommensbewertungen und -werten neu zu.

preTokenizer: PreTokenizer

Der zu verwendende Prätokenizer.

normalizer: Normalizer

Der zu verwendende Normalisierer.

filterUnsupportedChars: Boolean

Geben Sie an, ob die nicht unterstützten Zeichen während der Decodierung gefiltert werden sollen.

Gibt zurück

EnglishRobertaTokenizer

Hinweise

Stellen Sie beim Erstellen des Tokenizers sicher, dass die Vokabulardatei von einem vertrauenswürdigen Anbieter stammt.

Gilt für: