TokenizerType Enumeração
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
public enum TokenizerTypetype TokenizerType = - Herança
-
TokenizerType
Campos
| Nome | Valor | Description |
|---|---|---|
| None | 0 | Esse valor indica que nenhum token deve ser extraído dessa propriedade. Ele só é válido para tokenizer_type ser 'NONE' se getIndexingType() for INDEXING_TYPE_NONE. Partes desta página são modificações baseadas no trabalho criado e compartilhado pelo Project Open Source do Open Source e usadas de acordo com os termos descritos na Creative Commons 2.5. |
| Plain | 1 | Tokenização para texto sem formatação. Esse valor indica que os tokens devem ser extraídos dessa propriedade com base em quebras de palavra. Segmentos de espaço em branco e pontuação não são considerados tokens. Por exemplo, uma propriedade com "foo bar. baz. produzirá tokens para "foo", "bar" e "baz". Os segmentos " " e "." não serão considerados tokens. Ele só é válido para tokenizer_type ser 'PLAIN' se getIndexingType() for INDEXING_TYPE_EXACT_TERMS ou INDEXING_TYPE_PREFIXES. Partes desta página são modificações baseadas no trabalho criado e compartilhado pelo Project Open Source do Open Source e usadas de acordo com os termos descritos na Creative Commons 2.5. |
| Verbatim | 2 | Esse valor indica que nenhuma normalização ou segmentação deve ser aplicada a valores de cadeia de caracteres que são tokenizados usando esse tipo. Portanto, o token de saída é equivalente ao valor bruto da cadeia de caracteres. Por exemplo, uma propriedade com "Olá, mundo!" produzirá o token "Olá, mundo!", preservando a pontuação e a capitalização e não criando tokens separados entre o espaço. Ele só é válido para tokenizer_type ser 'VERBATIM' se getIndexingType() for INDEXING_TYPE_EXACT_TERMS ou INDEXING_TYPE_PREFIXES. Partes desta página são modificações baseadas no trabalho criado e compartilhado pelo Project Open Source do Open Source e usadas de acordo com os termos descritos na Creative Commons 2.5. |
| Rfc822 | 3 | Tokenização para emails. Esse valor indica que os tokens devem ser extraídos dessa propriedade com base na estrutura de email. Por exemplo, uma propriedade com "alex.sav@google.com" produzirá tokens para "alex", "sav", "alex.sav", "google", "com" e "alexsav@google.com" Ela só é válida para tokenizer_type ser 'RFC822' se getIndexingType() for INDEXING_TYPE_EXACT_TERMS ou INDEXING_TYPE_PREFIXES. Partes desta página são modificações baseadas no trabalho criado e compartilhado pelo Project Open Source do Open Source e usadas de acordo com os termos descritos na Creative Commons 2.5. |