Tokenizer 建構函式
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
多載
| 名稱 | Description |
|---|---|
| Tokenizer() |
初始化 Tokenizer 類別的新執行個體。 |
| Tokenizer(Model, PreTokenizer, Normalizer) |
建立一個新的 Tokenizer 物件。 |
Tokenizer()
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
初始化 Tokenizer 類別的新執行個體。
protected Tokenizer();Protected Sub New ()適用於
Tokenizer(Model, PreTokenizer, Normalizer)
建立一個新的 Tokenizer 物件。
public Tokenizer(Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)參數
- model
- Model
分詞器所使用的模型。
- preTokenizer
- PreTokenizer
分詞器使用的可選預分詞器。 如果此參數為空，則會使用 WhiteSpace PreTokenizer。
- normalizer
- Normalizer
由分詞器使用的可選正規化器。