RobertaPreTokenizer.PreTokenize Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |
| PreTokenize(String) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |
PreTokenize(ReadOnlySpan<Char>)
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
Obtenga los desplazamientos y las longitudes de los tokens en relación con .text
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parámetros
- text
- ReadOnlySpan<Char>
Cadena que se va a dividir en tokens.
Devoluciones
Los desplazamientos y longitudes de los tokens, expresados como pares, son relativos a la cadena original.
Se aplica a
PreTokenize(String)
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
Obtenga los desplazamientos y las longitudes de los tokens en relación con .text
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> seq<ValueTuple<int, int>>override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parámetros
- textsentence
- String
Cadena que se va a dividir en tokens.
Devoluciones
Los desplazamientos y longitudes de los tokens, expresados como pares, son relativos a la cadena original.