EnglishRobertaTokenizer.Create Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
Create(Stream, Stream, Stream)	Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.
Create(String, String, String)	Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.
Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)	Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.
Create(String, String, String, PreTokenizer, Normalizer, Boolean)	Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.

Create(Stream, Stream, Stream)

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream) As EnglishRobertaTokenizer

Parametry

vocabularyStream: Stream

Strumień pliku JSON zawierającego słownik kluczy ciągów i ich identyfikatory.

mergeStream: Stream

Strumień pliku zawierającego listę par tokenów.

highestOccurrenceMappingStream: Stream

Zamapuj ponownie oryginalne identyfikatory modelu GPT-2 na wysokie rangi i wartości wystąpienia.

Zwraca

EnglishRobertaTokenizer

Uwagi

Podczas tworzenia tokenizatora upewnij się, że strumień słownictwa jest pozyskiwany od zaufanego dostawcy.

Dotyczy

Create(String, String, String)

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);

static member Create : string * string * string -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String) As EnglishRobertaTokenizer

Parametry

vocabularyPath: String

Ścieżka pliku JSON zawierająca słownik kluczy ciągów i ich identyfikatory.

mergePath: String

Ścieżka pliku zawierająca listę par tokenów.

highestOccurrenceMappingPath: String

Zamapuj ponownie oryginalne identyfikatory modelu GPT-2 na wysokie rangi i wartości wystąpienia.

Zwraca

EnglishRobertaTokenizer

Uwagi

Podczas tworzenia tokenizatora upewnij się, że plik słownictwa pochodzi od zaufanego dostawcy.

Dotyczy

Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parametry

vocabularyStream: Stream

Strumień pliku JSON zawierającego słownik kluczy ciągów i ich identyfikatory.

mergeStream: Stream

Strumień pliku zawierającego listę par tokenów.

highestOccurrenceMappingStream: Stream

Zamapuj ponownie oryginalne identyfikatory modelu GPT-2 na wysokie rangi i wartości wystąpienia.

preTokenizer: PreTokenizer

Pre-tokenizer do użycia.

normalizer: Normalizer

Normalizator do użycia.

filterUnsupportedChars: Boolean

Wskaż, czy chcesz filtrować nieobsługiwane znaki podczas dekodowania.

Zwraca

EnglishRobertaTokenizer

Uwagi

Podczas tworzenia tokenizatora upewnij się, że strumień słownictwa jest pozyskiwany od zaufanego dostawcy.

Dotyczy

Create(String, String, String, PreTokenizer, Normalizer, Boolean)

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Źródło:: EnglishRobertaTokenizer.cs

Utwórz obiekt modelu tokenizatora do użycia z angielskim modelem Roberta.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : string * string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parametry

vocabularyPath: String

Ścieżka pliku JSON zawierająca słownik kluczy ciągów i ich identyfikatory.

mergePath: String

Ścieżka pliku zawierająca listę par tokenów.

highestOccurrenceMappingPath: String

Zamapuj ponownie oryginalne identyfikatory modelu GPT-2 na wysokie rangi i wartości wystąpienia.

preTokenizer: PreTokenizer

Pre-tokenizer do użycia.

normalizer: Normalizer

Normalizator do użycia.

filterUnsupportedChars: Boolean

Wskaż, czy chcesz filtrować nieobsługiwane znaki podczas dekodowania.

Zwraca

EnglishRobertaTokenizer

Uwagi

Podczas tworzenia tokenizatora upewnij się, że plik słownictwa pochodzi od zaufanego dostawcy.

Dotyczy