EnglishRobertaTokenizer.Create Metodo

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Overload

Nome	Descrizione
Create(Stream, Stream, Stream)	Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.
Create(String, String, String)	Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.
Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)	Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.
Create(String, String, String, PreTokenizer, Normalizer, Boolean)	Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.

Create(Stream, Stream, Stream)

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream) As EnglishRobertaTokenizer

Parametri

vocabularyStream: Stream

Flusso di un file JSON contenente il dizionario di chiavi stringa e i relativi ID.

mergeStream: Stream

Flusso di un file contenente l'elenco di coppie di token.

highestOccurrenceMappingStream: Stream

Eseguire il mapping degli ID modello GPT-2 originali a valori e classificazioni di occorrenza elevata.

Valori restituiti

EnglishRobertaTokenizer

Commenti

Quando si crea il tokenizer, assicurarsi che il flusso del vocabolario venga originato da un provider attendibile.

Si applica a

Create(String, String, String)

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);

static member Create : string * string * string -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String) As EnglishRobertaTokenizer

Parametri

vocabularyPath: String

Percorso del file JSON contenente il dizionario delle chiavi stringa e i relativi ID.

mergePath: String

Percorso del file contenente l'elenco di coppie di token.

highestOccurrenceMappingPath: String

Eseguire il mapping degli ID modello GPT-2 originali a valori e classificazioni di occorrenza elevata.

Valori restituiti

EnglishRobertaTokenizer

Commenti

Quando si crea il tokenizer, assicurarsi che il file del vocabolario venga originato da un provider attendibile.

Si applica a

Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parametri

vocabularyStream: Stream

Flusso di un file JSON contenente il dizionario di chiavi stringa e i relativi ID.

mergeStream: Stream

Flusso di un file contenente l'elenco di coppie di token.

highestOccurrenceMappingStream: Stream

Eseguire il mapping degli ID modello GPT-2 originali a valori e classificazioni di occorrenza elevata.

preTokenizer: PreTokenizer

Pre-tokenizer da usare.

normalizer: Normalizer

Normalizzatore da usare.

filterUnsupportedChars: Boolean

Indicare se si desidera filtrare i caratteri non supportati durante la decodifica.

Valori restituiti

EnglishRobertaTokenizer

Commenti

Quando si crea il tokenizer, assicurarsi che il flusso del vocabolario venga originato da un provider attendibile.

Si applica a

Create(String, String, String, PreTokenizer, Normalizer, Boolean)

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Origine:: EnglishRobertaTokenizer.cs

Creare l'oggetto modello del tokenizer da usare con il modello Inglese Robert.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : string * string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parametri

vocabularyPath: String

Percorso del file JSON contenente il dizionario delle chiavi stringa e i relativi ID.

mergePath: String

Percorso del file contenente l'elenco di coppie di token.

highestOccurrenceMappingPath: String

Eseguire il mapping degli ID modello GPT-2 originali a valori e classificazioni di occorrenza elevata.

preTokenizer: PreTokenizer

Pre-tokenizer da usare.

normalizer: Normalizer

Normalizzatore da usare.

filterUnsupportedChars: Boolean

Indicare se si desidera filtrare i caratteri non supportati durante la decodifica.

Valori restituiti

EnglishRobertaTokenizer

Commenti

Quando si crea il tokenizer, assicurarsi che il file del vocabolario venga originato da un provider attendibile.

Si applica a