PreTokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Classe de base pour toutes les classes de pré-tokenizers. Le PreTokenizer est chargé d’effectuer l’étape de pré-segmentation.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Héritage
-
PreTokenizer
- Dérivé
Constructeurs
| Nom | Description |
|---|---|
| PreTokenizer() |
Classe de base pour toutes les classes de pré-tokenizers. Le PreTokenizer est chargé d’effectuer l’étape de pré-segmentation. |
Méthodes
| Nom | Description |
|---|---|
| CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) |
Créez une instance de la PreTokenizer classe qui fractionne le texte dans les espaces blancs. |
| CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>) |
Créez une instance de la PreTokenizer classe qui fractionne le texte au niveau du mot ou de la limite non-mot. Le mot est un ensemble d’alphabets, de caractères numériques et de trait de soulignement. |
| CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>) |
Créez une instance de la PreTokenizer classe qui fractionne le texte à l’espace blanc ou aux caractères de ponctuation. |
| PreTokenize(ReadOnlySpan<Char>) |
Obtenez les décalages et les longueurs des jetons par rapport à la chaîne d’origine. |
| PreTokenize(String) |
Obtenez les décalages et les longueurs des jetons par rapport au |