Tokenizer Klas
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Biedt een standaardtokenizer-implementatie.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Overname
-
Tokenizer
Constructors
| Name | Description |
|---|---|
| Tokenizer() |
Biedt een standaardtokenizer-implementatie. |
Eigenschappen
| Name | Description |
|---|---|
| DefaultTokenizer |
Krijgt de standaardimplementatie TokenizerFunction . |
Methoden
| Name | Description |
|---|---|
| DefaultTokenizerImpl(String, String) |
Eenvoudige tokenizer die afbreekt op spaties en leestekens. De enige normalisatie is kleine letters. |