Lenguaje

RegexPreTokenizer.PreTokenize Método

Definición

Sobrecargas

Nombre Description
PreTokenize(ReadOnlySpan<Char>)

Obtenga los desplazamientos y las longitudes de los tokens en relación con .text

PreTokenize(String)

Obtenga los desplazamientos y las longitudes de los tokens en relación con .text

PreTokenize(ReadOnlySpan<Char>)

Source:
RegexPreTokenizer.cs
Source:
RegexPreTokenizer.cs
Source:
RegexPreTokenizer.cs

Obtenga los desplazamientos y las longitudes de los tokens en relación con .text

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);
override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Parámetros

text
ReadOnlySpan<Char>

Cadena que se va a dividir en tokens.

Devoluciones

Los desplazamientos y longitudes de los tokens, expresados como pares, son relativos a la cadena original.

Se aplica a

PreTokenize(String)

Source:
RegexPreTokenizer.cs
Source:
RegexPreTokenizer.cs
Source:
RegexPreTokenizer.cs

Obtenga los desplazamientos y las longitudes de los tokens en relación con .text

public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);
override this.PreTokenize : string -> seq<ValueTuple<int, int>>
Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Parámetros

text
String

Cadena que se va a dividir en tokens.

Devoluciones

Los desplazamientos y longitudes de los tokens, expresados como pares, son relativos a la cadena original.

Se aplica a