RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) Costruttore
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Inizializza una nuova istanza della classe RegexPreTokenizer.
public RegexPreTokenizer(System.Text.RegularExpressions.Regex regex, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens);new Microsoft.ML.Tokenizers.RegexPreTokenizer : System.Text.RegularExpressions.Regex * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.RegexPreTokenizerPublic Sub New (regex As Regex, specialTokens As IReadOnlyDictionary(Of String, Integer))Parametri
- regex
- Regex
Espressione regolare da usare per suddividere il testo in token più piccoli nel processo di pre-tokenizzazione.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Dizionario contenente i token speciali e gli ID corrispondenti.
Eccezioni
Quando regex è null