Tokenizer Klass
Definition
Viktigt
En del information gäller för förhandsversionen av en produkt och kan komma att ändras avsevärt innan produkten blir allmänt tillgänglig. Microsoft lämnar inga garantier, uttryckliga eller underförstådda, avseende informationen som visas här.
Tillhandahåller en standardimplementering av tokenizer.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Arv
-
Tokenizer
Konstruktorer
| Name | Description |
|---|---|
| Tokenizer() |
Tillhandahåller en standardimplementering av tokenizer. |
Egenskaper
| Name | Description |
|---|---|
| DefaultTokenizer |
Får standardimplementationen TokenizerFunction . |
Metoder
| Name | Description |
|---|---|
| DefaultTokenizerImpl(String, String) |
Enkel tokenizer som bryter på blanksteg och skiljetecken. Den enda normaliseringen som görs är med gemener. |