RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) Konstruktor
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Initialisiert eine neue Instanz der RegexPreTokenizer-Klasse.
public RegexPreTokenizer(System.Text.RegularExpressions.Regex regex, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens);new Microsoft.ML.Tokenizers.RegexPreTokenizer : System.Text.RegularExpressions.Regex * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.RegexPreTokenizerPublic Sub New (regex As Regex, specialTokens As IReadOnlyDictionary(Of String, Integer))Parameter
- regex
- Regex
Der regex, der zum Aufteilen des Texts in kleinere Token im Vortokenprozess verwendet werden soll.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Das Wörterbuch, das die speziellen Token und die entsprechenden IDs enthält.
Ausnahmen
Wenn regex null ist