PreTokenizer.CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Cree una nueva instancia de la PreTokenizer clase que divide el texto en los espacios en blanco.
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWhiteSpace(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWhiteSpace : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWhiteSpace (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerParámetros
- specialTokens
- IReadOnlyDictionary<String,Int32>
Diccionario que contiene los tokens especiales y sus identificadores correspondientes.
Devoluciones
Pre-tokenizer que divide el texto en los espacios en blanco.
Comentarios
Este tokenizador previo usa el patrón regex "\S+" para dividir el texto en tokens.