Tokenizer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Fornisce un'implementazione del tokenizer predefinita.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Ereditarietà
-
Tokenizer
Costruttori
| Nome | Descrizione |
|---|---|
| Tokenizer() |
Fornisce un'implementazione del tokenizer predefinita. |
Proprietà
| Nome | Descrizione |
|---|---|
| DefaultTokenizer |
Ottiene l'implementazione predefinita TokenizerFunction . |
Metodi
| Nome | Descrizione |
|---|---|
| DefaultTokenizerImpl(String, String) |
Tokenizzatore semplice che interrompe gli spazi e la punteggiatura. L'unica normalizzazione eseguita è quella minuscola. |