Idioma

RegexPreTokenizer.PreTokenize Método

Definição

Sobrecargas

Nome Description
PreTokenize(ReadOnlySpan<Char>)

Obter os deslocamentos e os comprimentos dos tokens relativos ao text.

PreTokenize(String)

Obter os deslocamentos e os comprimentos dos tokens relativos ao text.

PreTokenize(ReadOnlySpan<Char>)

Origem:
RegexPreTokenizer.cs
Origem:
RegexPreTokenizer.cs
Origem:
RegexPreTokenizer.cs

Obter os deslocamentos e os comprimentos dos tokens relativos ao text.

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);
override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Parâmetros

text
ReadOnlySpan<Char>

A cadeia de caracteres a ser dividida em tokens.

Retornos

Os deslocamentos e os comprimentos dos tokens, expressos como pares, são relativos à cadeia de caracteres original.

Aplica-se a

PreTokenize(String)

Origem:
RegexPreTokenizer.cs
Origem:
RegexPreTokenizer.cs
Origem:
RegexPreTokenizer.cs

Obter os deslocamentos e os comprimentos dos tokens relativos ao text.

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);
override this.PreTokenize : string -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Parâmetros

text
String

A cadeia de caracteres a ser dividida em tokens.

Retornos

Os deslocamentos e os comprimentos dos tokens, expressos como pares, são relativos à cadeia de caracteres original.

Aplica-se a