PreTokenizer.PreTokenize Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obtenga los desplazamientos y longitudes de los tokens en relación con la cadena original. |
| PreTokenize(String) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |
PreTokenize(ReadOnlySpan<Char>)
- Source:
- PreTokenizer.cs
- Source:
- PreTokenizer.cs
- Source:
- PreTokenizer.cs
Obtenga los desplazamientos y longitudes de los tokens en relación con la cadena original.
public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);abstract member PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public MustOverride Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parámetros
- text
- ReadOnlySpan<Char>
Intervalo de caracteres que se va a dividir en tokens.
Devoluciones
Los desplazamientos y longitudes de los tokens, expresados como pares, son relativos a la cadena original.
Se aplica a
PreTokenize(String)
- Source:
- PreTokenizer.cs
- Source:
- PreTokenizer.cs
- Source:
- PreTokenizer.cs
Obtenga los desplazamientos y las longitudes de los tokens en relación con .text
public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string sentence);abstract member PreTokenize : string -> seq<ValueTuple<int, int>>abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public MustOverride Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parámetros
- textsentence
- String
Cadena que se va a dividir en tokens.
Devoluciones
Los desplazamientos y longitudes de los tokens, expresados como pares, son relativos a la cadena original.