RegexPreTokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Pré-tokenizer pour le tokenizer Tiktoken.
public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RegexPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer- Héritage
Constructeurs
| Nom | Description |
|---|---|
| RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) |
Initialise une nouvelle instance de la classe RegexPreTokenizer. |
Méthodes
| Nom | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obtenez les décalages et les longueurs des jetons par rapport au |
| PreTokenize(String) |
Obtenez les décalages et les longueurs des jetons par rapport au |