PreTokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Clase base para todas las clases de tokenizadores previos. PreTokenizer se encarga de realizar el paso de segmentación previa.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Herencia
-
PreTokenizer
- Derivado
Constructores
| Nombre | Description |
|---|---|
| PreTokenizer() |
Clase base para todas las clases de tokenizadores previos. PreTokenizer se encarga de realizar el paso de segmentación previa. |
Métodos
| Nombre | Description |
|---|---|
| CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) |
Cree una nueva instancia de la PreTokenizer clase que divide el texto en los espacios en blanco. |
| CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>) |
Cree una nueva instancia de la PreTokenizer clase que divide el texto en el límite de palabras o no palabras. La palabra es un conjunto de caracteres alfabéticos, numéricos y de subrayado. |
| CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>) |
Cree una nueva instancia de la PreTokenizer clase que divida el texto en el espacio en blanco o caracteres de puntuación. |
| PreTokenize(ReadOnlySpan<Char>) |
Obtenga los desplazamientos y longitudes de los tokens en relación con la cadena original. |
| PreTokenize(String) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |