Tokenizer Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Udostępnia domyślną implementację tokenizatora.
public class Tokenizer
type Tokenizer = class
Public Class Tokenizer
- Dziedziczenie
-
Tokenizer
Konstruktory
| Nazwa | Opis |
|---|---|
| Tokenizer() |
Udostępnia domyślną implementację tokenizatora. |
Właściwości
| Nazwa | Opis |
|---|---|
| DefaultTokenizer |
Dostaje domyślną TokenizerFunction implementację. |
Metody
| Nazwa | Opis |
|---|---|
| DefaultTokenizerImpl(String, String) |
Prosty tokenizer, który przerywa spacje i znaki interpunkcyjne. Jedyną normalizacją jest używanie małych liter. |