語言

RegexPreTokenizer.PreTokenize 方法

定義

多載

名稱 Description
PreTokenize(ReadOnlySpan<Char>)

取得符號相對於 text的偏移量與長度。

PreTokenize(String)

取得符號相對於 text的偏移量與長度。

PreTokenize(ReadOnlySpan<Char>)

來源:
RegexPreTokenizer.cs
來源:
RegexPreTokenizer.cs
來源:
RegexPreTokenizer.cs

取得符號相對於 text的偏移量與長度。

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);
override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

參數

text
ReadOnlySpan<Char>

那串可以分成代幣的線。

傳回

標記的偏移量和長度(以成對表示)相對於原始字串而言。

適用於

PreTokenize(String)

來源:
RegexPreTokenizer.cs
來源:
RegexPreTokenizer.cs
來源:
RegexPreTokenizer.cs

取得符號相對於 text的偏移量與長度。

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);
override this.PreTokenize : string -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

參數

text
String

那串可以分成代幣的線。

傳回

標記的偏移量和長度(以成對表示)相對於原始字串而言。

適用於