Tokenizer Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Stellt eine standardmäßige Tokenizerimplementierung bereit.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Vererbung
-
Tokenizer
Konstruktoren
| Name | Beschreibung |
|---|---|
| Tokenizer() |
Stellt eine standardmäßige Tokenizerimplementierung bereit. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| DefaultTokenizer |
Erhält die Standardimplementierung TokenizerFunction . |
Methoden
| Name | Beschreibung |
|---|---|
| DefaultTokenizerImpl(String, String) |
Einfacher Tokenizer, der auf Leerzeichen und Interpunktion umbricht. Die einzige Normalisierung erfolgt in Kleinbuchstaben. |