RobertaPreTokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Tokenizador previo para el tokenizador en inglés de Roberta.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Herencia
Constructores
| Nombre | Description |
|---|---|
| RobertaPreTokenizer() |
Tokenizador previo para el tokenizador en inglés de Roberta. |
Campos
| Nombre | Description |
|---|---|
| Instance |
Obtiene una instancia singleton del pre-tokenizer de Roberta. |
Propiedades
| Nombre | Description |
|---|---|
| Instance |
Obtiene una instancia singleton del pre-tokenizer de Roberta. |
Métodos
| Nombre | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |
| PreTokenize(String) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |