RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) コンストラクター
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
RegexPreTokenizer クラスの新しいインスタンスを初期化します。
public RegexPreTokenizer(System.Text.RegularExpressions.Regex regex, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens);new Microsoft.ML.Tokenizers.RegexPreTokenizer : System.Text.RegularExpressions.Regex * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.RegexPreTokenizerPublic Sub New (regex As Regex, specialTokens As IReadOnlyDictionary(Of String, Integer))パラメーター
- regex
- Regex
事前トークン化プロセスでテキストをより小さなトークンに分割するために使用する正規表現。
- specialTokens
- IReadOnlyDictionary<String,Int32>
特殊なトークンとそれに対応する ID を含むディクショナリ。
例外
regex が null の場合