RegexPreTokenizer.PreTokenize 方法
定義
重要
部分資訊涉及發行前產品,在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊,不做任何明確或隱含的瑕疵擔保。
多載
| 名稱 | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
取得符號相對於 |
| PreTokenize(String) |
取得符號相對於 |
PreTokenize(ReadOnlySpan<Char>)
取得符號相對於 text的偏移量與長度。
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);
override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))
參數
- text
- ReadOnlySpan<Char>
那串可以分成代幣的線。
傳回
標記的偏移量和長度(以成對表示)相對於原始字串而言。
適用於
PreTokenize(String)
取得符號相對於 text的偏移量與長度。
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);
override this.PreTokenize : string -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))
參數
- text
- String
那串可以分成代幣的線。
傳回
標記的偏移量和長度(以成對表示)相對於原始字串而言。