RegexPreTokenizer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Pre-tokenizer per il tokenizer Tiktoken.
public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RegexPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer- Ereditarietà
Costruttori
| Nome | Descrizione |
|---|---|
| RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) |
Inizializza una nuova istanza della classe RegexPreTokenizer. |
Metodi
| Nome | Descrizione |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto |
| PreTokenize(String) |
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto |