PreTokenizer.CreateWordOrPunctuation Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Cree una nueva instancia de la PreTokenizer clase que divida el texto en el espacio en blanco o caracteres de puntuación.
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerParámetros
- specialTokens
- IReadOnlyDictionary<String,Int32>
Diccionario que contiene los tokens especiales y sus identificadores correspondientes.
Devoluciones
Pre-tokenizer que divide el texto en el espacio en blanco o caracteres de puntuación.
Comentarios
Este tokenizador previo usa el patrón regex "\w+|[\p{P}]" para dividir el texto en tokens.