Tokenizer 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
提供預設的Tokenizer實作。
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- 繼承
-
Tokenizer
建構函式
| 名稱 | Description |
|---|---|
| Tokenizer() |
提供預設的Tokenizer實作。 |
屬性
| 名稱 | Description |
|---|---|
| DefaultTokenizer |
會得到預設 TokenizerFunction 實作。 |
方法
| 名稱 | Description |
|---|---|
| DefaultTokenizerImpl(String, String) |
在空格和標點符號上中斷的簡單Tokenizer。 唯一完成的正規化是小寫。 |