BpeTokenizer.CreateAsync Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Cree un nuevo objeto de tokenizador Bpe de forma asincrónica para usarlo para la codificación de texto.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.BpeTokenizer> CreateAsync(System.IO.Stream vocabStream, System.IO.Stream? mergesStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default, bool fuseUnknownTokens = false);static member CreateAsync : System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * string * string * string * bool -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.BpeTokenizer>Public Shared Function CreateAsync (vocabStream As Stream, mergesStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing, Optional fuseUnknownTokens As Boolean = false) As Task(Of BpeTokenizer)Parámetros
- vocabStream
- Stream
Secuencia JSON que contiene el diccionario de claves de cadena y sus identificadores.
- mergesStream
- Stream
Secuencia que contiene la lista de pares de tokens.
- preTokenizer
- PreTokenizer
Pre-tokenizer que se va a usar.
- normalizer
- Normalizer
Normalizador que se va a usar.
- specialTokens
- IReadOnlyDictionary<String,Int32>
El diccionario asigna tokens especiales a Los identificadores.
- unknownToken
- String
Token desconocido que va a usar el modelo.
- continuingSubwordPrefix
- String
Prefijo que se va a asociar a unidades de sub word que no representan un principio de palabra.
- endOfWordSuffix
- String
Sufijo que se va a adjuntar a unidades de sub word que representan un final de palabra.
- fuseUnknownTokens
- Boolean
Indica si se han fusionado varios tokens desconocidos.
Devoluciones
Comentarios
Al crear el tokenizador, asegúrese de que el flujo de vocabulario se obtiene de un proveedor de confianza.