PreTokenizer.CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
空白でテキストを分割する PreTokenizer クラスの新しいインスタンスを作成します。
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWhiteSpace(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWhiteSpace : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWhiteSpace (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerパラメーター
- specialTokens
- IReadOnlyDictionary<String,Int32>
特殊なトークンとそれに対応する ID を含むディクショナリ。
返品
空白でテキストを分割する事前トークナイザー。
注釈
この事前トークナイザーでは、正規表現パターン "\S+" を使用してテキストをトークンに分割します。