Tokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Fournit une implémentation de tokenizer par défaut.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Héritage
-
Tokenizer
Constructeurs
| Nom | Description |
|---|---|
| Tokenizer() |
Fournit une implémentation de tokenizer par défaut. |
Propriétés
| Nom | Description |
|---|---|
| DefaultTokenizer |
Obtient l’implémentation par défaut TokenizerFunction . |
Méthodes
| Nom | Description |
|---|---|
| DefaultTokenizerImpl(String, String) |
Tokenizer simple qui s’interrompt sur les espaces et la ponctuation. La seule normalisation effectuée consiste à mettre en minuscules. |