BpeTokenizer.Create Método

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Sobrecargas

Nombre	Description
Create(Stream, Stream)	Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.
Create(String, String)	Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.
Create(Stream, Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)	Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.
Create(String, String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)	Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.

Create(Stream, Stream)

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream? mergesStream);

static member Create : System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream) As BpeTokenizer

Parámetros

vocabStream: Stream

Secuencia JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergesStream: Stream

Secuencia que contiene la lista de pares de tokens.

Devoluciones

BpeTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el flujo de vocabulario se obtiene de un proveedor de confianza.

Se aplica a

Create(String, String)

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(string vocabFile, string? mergesFile);

static member Create : string * string -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabFile As String, mergesFile As String) As BpeTokenizer

Parámetros

vocabFile: String

Ruta de acceso del archivo JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergesFile: String

Ruta de acceso del archivo que contiene la lista de pares de tokens.

Devoluciones

BpeTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el archivo de vocabulario tiene como origen un proveedor de confianza.

Se aplica a

Create(Stream, Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream? mergesStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default, bool fuseUnknownTokens = false);

static member Create : System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * string * string * string * bool -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing, Optional fuseUnknownTokens As Boolean = false) As BpeTokenizer

Parámetros

vocabStream: Stream

Secuencia JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergesStream: Stream

Secuencia que contiene la lista de pares de tokens.

preTokenizer: PreTokenizer

Pre-tokenizer que se va a usar.

normalizer: Normalizer

Normalizador que se va a usar.

specialTokens: IReadOnlyDictionary<String,Int32>

El diccionario asigna tokens especiales a Los identificadores.

unknownToken: String

Token desconocido que va a usar el modelo.

continuingSubwordPrefix: String

Prefijo que se va a asociar a unidades de sub word que no representan un principio de palabra.

endOfWordSuffix: String

Sufijo que se va a adjuntar a unidades de sub word que representan un final de palabra.

fuseUnknownTokens: Boolean

Indica si se han fusionado varios tokens desconocidos.

Devoluciones

BpeTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el flujo de vocabulario se obtiene de un proveedor de confianza.

Se aplica a

Create(String, String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Source:: BPETokenizer.cs

Cree un nuevo objeto de tokenizador Bpe que se usará para la codificación de texto.

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(string vocabFile, string? mergesFile, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default, bool fuseUnknownTokens = false);

static member Create : string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * string * string * string * bool -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabFile As String, mergesFile As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing, Optional fuseUnknownTokens As Boolean = false) As BpeTokenizer

Parámetros

vocabFile: String

Ruta de acceso del archivo JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergesFile: String

Ruta de acceso del archivo que contiene la lista de pares de tokens.

preTokenizer: PreTokenizer

Pre-tokenizer que se va a usar.

normalizer: Normalizer

Normalizador que se va a usar.

specialTokens: IReadOnlyDictionary<String,Int32>

El diccionario asigna tokens especiales a Los identificadores.

unknownToken: String

Token desconocido que va a usar el modelo.

continuingSubwordPrefix: String

Prefijo que se va a asociar a unidades de sub word que no representan un principio de palabra.

endOfWordSuffix: String

Sufijo que se va a adjuntar a unidades de sub word que representan un final de palabra.

fuseUnknownTokens: Boolean

Indica si se han fusionado varios tokens desconocidos.

Devoluciones

BpeTokenizer

Comentarios

Al crear el tokenizador, asegúrese de que el archivo de vocabulario tiene como origen un proveedor de confianza.

Se aplica a