RobertaPreTokenizer 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
Roberta English 分詞器的前分詞器。
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- 繼承
建構函式
| 名稱 | Description |
|---|---|
| RobertaPreTokenizer() |
Roberta English 分詞器的前分詞器。 |
欄位
| 名稱 | Description |
|---|---|
| Instance |
獲得一個 Roberta 預分符器的單例...... |
屬性
| 名稱 | Description |
|---|---|
| Instance |
獲得一個 Roberta 預分符器的單例...... |
方法
| 名稱 | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
取得符號相對於 |
| PreTokenize(String) |
取得符號相對於 |