Tokenizer Classe
Definição
Importante
Algumas informações dizem respeito a um produto pré-lançado que pode ser substancialmente modificado antes de ser lançado. A Microsoft não faz garantias, de forma expressa ou implícita, em relação à informação aqui apresentada.
Fornece uma implementação de tokenizador padrão.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Herança
-
Tokenizer
Construtores
| Name | Descrição |
|---|---|
| Tokenizer() |
Fornece uma implementação de tokenizador padrão. |
Propriedades
| Name | Descrição |
|---|---|
| DefaultTokenizer |
Obtém a implementação padrão TokenizerFunction . |
Métodos
| Name | Descrição |
|---|---|
| DefaultTokenizerImpl(String, String) |
Tokenizador simples que quebra em espaços e pontuação. A única normalização feita é para minúsculas. |