PreTokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Classe base para todas as classes pré-tokenizadores. O PreTokenizer é responsável por executar a etapa de pré-segmentação.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Herança
-
PreTokenizer
- Derivado
Construtores
| Nome | Description |
|---|---|
| PreTokenizer() |
Classe base para todas as classes pré-tokenizadores. O PreTokenizer é responsável por executar a etapa de pré-segmentação. |
Métodos
| Nome | Description |
|---|---|
| CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) |
Crie uma nova instância da PreTokenizer classe que divide o texto nos espaços em branco. |
| CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>) |
Crie uma nova instância da PreTokenizer classe que divide o texto no limite de palavra ou não palavra. A palavra é um conjunto de caracteres alfabeto, numéricos e sublinhados. |
| CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>) |
Crie uma nova instância da PreTokenizer classe que divide o texto no espaço em branco ou caracteres de pontuação. |
| PreTokenize(ReadOnlySpan<Char>) |
Obtenha os deslocamentos e os comprimentos dos tokens relativos à cadeia de caracteres original. |
| PreTokenize(String) |
Obter os deslocamentos e os comprimentos dos tokens relativos ao |