Język

Tokenizer Klasa

Definicja

Udostępnia domyślną implementację tokenizatora.

public class Tokenizer
type Tokenizer = class
Public Class Tokenizer
Dziedziczenie
Tokenizer

Konstruktory

Nazwa Opis
Tokenizer()

Udostępnia domyślną implementację tokenizatora.

Właściwości

Nazwa Opis
DefaultTokenizer

Dostaje domyślną TokenizerFunction implementację.

Metody

Nazwa Opis
DefaultTokenizerImpl(String, String)

Prosty tokenizer, który przerywa spacje i znaki interpunkcyjne. Jedyną normalizacją jest używanie małych liter.

Dotyczy