WhiteSpace 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
前分詞器在詞界處分割文本。 這個單字是一組字母、數字和底線符號。
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- 繼承
建構函式
| 名稱 | Description |
|---|---|
| WhiteSpace() |
前分詞器在詞界處分割文本。 這個單字是一組字母、數字和底線符號。 |
欄位
| 名稱 | Description |
|---|---|
| Instance |
會取得一個 WhiteSpace 預分詞器的單例實例...... |
方法
| 名稱 | Description |
|---|---|
| PreTokenize(String) |
在字邊界將給定字串分成多個子字串，並追蹤這些子字串與原始字串的偏移量。 |