EnglishRobertaTokenizer.Create Método

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Sobrecargas

Nombre	Description
Create(Stream, Stream, Stream)	Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.
Create(String, String, String)	Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.
Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)	Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.
Create(String, String, String, PreTokenizer, Normalizer, Boolean)	Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.

Create(Stream, Stream, Stream)

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream) As EnglishRobertaTokenizer

Parámetros

vocabularyStream: Stream

Secuencia de un archivo JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergeStream: Stream

Secuencia de un archivo que contiene la lista de pares de tokens.

highestOccurrenceMappingStream: Stream

Vuelva a asignar los identificadores de modelo GPT-2 originales a rangos y valores altos de repetición.

Devoluciones

EnglishRobertaTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el flujo de vocabulario se obtiene de un proveedor de confianza.

Se aplica a

Create(String, String, String)

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);

static member Create : string * string * string -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String) As EnglishRobertaTokenizer

Parámetros

vocabularyPath: String

Ruta de acceso del archivo JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergePath: String

Ruta de acceso del archivo que contiene la lista de pares de tokens.

highestOccurrenceMappingPath: String

Vuelva a asignar los identificadores de modelo GPT-2 originales a rangos y valores altos de repetición.

Devoluciones

EnglishRobertaTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el archivo de vocabulario tiene como origen un proveedor de confianza.

Se aplica a

Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parámetros

vocabularyStream: Stream

Secuencia de un archivo JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergeStream: Stream

Secuencia de un archivo que contiene la lista de pares de tokens.

highestOccurrenceMappingStream: Stream

Vuelva a asignar los identificadores de modelo GPT-2 originales a rangos y valores altos de repetición.

preTokenizer: PreTokenizer

Pre-tokenizer que se va a usar.

normalizer: Normalizer

Normalizador que se va a usar.

filterUnsupportedChars: Boolean

Indique si desea filtrar los caracteres no admitidos durante la descodificación.

Devoluciones

EnglishRobertaTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el flujo de vocabulario se obtiene de un proveedor de confianza.

Se aplica a

Create(String, String, String, PreTokenizer, Normalizer, Boolean)

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Source:: EnglishRobertaTokenizer.cs

Cree el objeto de modelo del tokenizador para usarlo con el modelo robert inglés.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);

static member Create : string * string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer

Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parámetros

vocabularyPath: String

Ruta de acceso del archivo JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergePath: String

Ruta de acceso del archivo que contiene la lista de pares de tokens.

highestOccurrenceMappingPath: String

Vuelva a asignar los identificadores de modelo GPT-2 originales a rangos y valores altos de repetición.

preTokenizer: PreTokenizer

Pre-tokenizer que se va a usar.

normalizer: Normalizer

Normalizador que se va a usar.

filterUnsupportedChars: Boolean

Indique si desea filtrar los caracteres no admitidos durante la descodificación.

Devoluciones

EnglishRobertaTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el archivo de vocabulario tiene como origen un proveedor de confianza.

Se aplica a