Language

RegexPreTokenizer.PreTokenize メソッド

定義

オーバーロード

名前 説明
PreTokenize(ReadOnlySpan<Char>)

textに対する相対トークンのオフセットと長さを取得します。

PreTokenize(String)

textに対する相対トークンのオフセットと長さを取得します。

PreTokenize(ReadOnlySpan<Char>)

ソース:
RegexPreTokenizer.cs
ソース:
RegexPreTokenizer.cs
ソース:
RegexPreTokenizer.cs

textに対する相対トークンのオフセットと長さを取得します。

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);
override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

パラメーター

text
ReadOnlySpan<Char>

トークンに分割する文字列。

返品

トークンのオフセットと長さは、ペアとして表され、元の文字列に対して相対的です。

適用対象

PreTokenize(String)

ソース:
RegexPreTokenizer.cs
ソース:
RegexPreTokenizer.cs
ソース:
RegexPreTokenizer.cs

textに対する相対トークンのオフセットと長さを取得します。

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);
override this.PreTokenize : string -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

パラメーター

text
String

トークンに分割する文字列。

返品

トークンのオフセットと長さは、ペアとして表され、元の文字列に対して相対的です。

適用対象