RegexPreTokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
O pré-tokenizador para o tokenizador Tiktoken.
public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RegexPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer- Herança
Construtores
| Nome | Description |
|---|---|
| RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) |
Inicializa uma nova instância da classe RegexPreTokenizer. |
Métodos
| Nome | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obter os deslocamentos e os comprimentos dos tokens relativos ao |
| PreTokenize(String) |
Obter os deslocamentos e os comprimentos dos tokens relativos ao |