Tokenizer コンストラクター
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| Tokenizer() |
Tokenizer クラスの新しいインスタンスを初期化します。 |
| Tokenizer(Model, PreTokenizer, Normalizer) |
新しい Tokenizer オブジェクトを作成します。 |
Tokenizer()
- ソース:
- Tokenizer.cs
- ソース:
- Tokenizer.cs
- ソース:
- Tokenizer.cs
Tokenizer クラスの新しいインスタンスを初期化します。
protected Tokenizer();Protected Sub New ()適用対象
Tokenizer(Model, PreTokenizer, Normalizer)
新しい Tokenizer オブジェクトを作成します。
public Tokenizer(Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)パラメーター
- model
- Model
トークナイザーで使用されているモデル。
- preTokenizer
- PreTokenizer
トークナイザーで使用されている省略可能な PreTokenizer。 このパラメーターが null の場合は、WhiteSpace PreTokenizer が使用されます。
- normalizer
- Normalizer
トークナイザーで使用されている省略可能なノーマライザー。