RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) Constructor
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Inicializa una nueva instancia de la clase RegexPreTokenizer.
public RegexPreTokenizer(System.Text.RegularExpressions.Regex regex, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens);new Microsoft.ML.Tokenizers.RegexPreTokenizer : System.Text.RegularExpressions.Regex * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.RegexPreTokenizerPublic Sub New (regex As Regex, specialTokens As IReadOnlyDictionary(Of String, Integer))Parámetros
- regex
- Regex
Expresión regular que se va a usar para dividir el texto en tokens más pequeños en el proceso de pre-tokenización.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Diccionario que contiene los tokens especiales y sus identificadores correspondientes.
Excepciones
Cuando regex es NULL