PreTokenizer.CreateWordOrPunctuation メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
空白文字または句読点文字でテキストを分割する PreTokenizer クラスの新しいインスタンスを作成します。
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerパラメーター
- specialTokens
- IReadOnlyDictionary<String,Int32>
特殊なトークンとそれに対応する ID を含むディクショナリ。
返品
空白文字または句読点文字でテキストを分割する事前トークナイザー。
注釈
この事前トークナイザーでは、正規表現パターン "\w+| を使用します。[\p{P}]" を選択すると、テキストがトークンに分割されます。