RegexPreTokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Tokenizador previo para tokenizador Tiktoken.
public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RegexPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer- Herencia
Constructores
| Nombre | Description |
|---|---|
| RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) |
Inicializa una nueva instancia de la clase RegexPreTokenizer. |
Métodos
| Nombre | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |
| PreTokenize(String) |
Obtenga los desplazamientos y las longitudes de los tokens en relación con . |