SentencePieceNormalizer コンストラクター
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
SentencePieceNormalizer オブジェクトを作成します。
public SentencePieceNormalizer(bool removeExtraWhiteSpaces, bool addDummyPrefix, bool escapeWhiteSpaces, bool treatWhitespaceAsSuffix, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens);
new Microsoft.ML.Tokenizers.SentencePieceNormalizer : bool * bool * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceNormalizer
Public Sub New (removeExtraWhiteSpaces As Boolean, addDummyPrefix As Boolean, escapeWhiteSpaces As Boolean, treatWhitespaceAsSuffix As Boolean, specialTokens As IReadOnlyDictionary(Of String, Integer))
パラメーター
- removeExtraWhiteSpaces
- Boolean
- addDummyPrefix
- Boolean
- escapeWhiteSpaces
- Boolean
- treatWhitespaceAsSuffix
- Boolean
- specialTokens
- IReadOnlyDictionary<String,Int32>