RegexPreTokenizer 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
Tiktoken 代幣化器的前設分子器。
public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RegexPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer- 繼承
建構函式
| 名稱 | Description |
|---|---|
| RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) |
初始化 RegexPreTokenizer 類別的新執行個體。 |
方法
| 名稱 | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
取得符號相對於 |
| PreTokenize(String) |
取得符號相對於 |