WordPieceOptions Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Opções para o tokenizador wordpiece.
public class WordPieceOptions
type WordPieceOptions = class
Public Class WordPieceOptions
- Herança
-
WordPieceOptions
- Derivado
Construtores
| Nome | Description |
|---|---|
| WordPieceOptions() |
Opções para o tokenizador wordpiece. |
Propriedades
| Nome | Description |
|---|---|
| ContinuingSubwordPrefix |
Obtém ou define o prefixo a ser usado para sub-palavras que não são a primeira parte de uma palavra. |
| MaxInputCharsPerWord |
Obtém ou define o número máximo de caracteres a serem considerados para uma única palavra. |
| Normalizer |
Obtém ou define o Normalizer normalizador padrão para substituir o normalizador padrão, se desejado. |
| PreTokenizer |
Obtém ou define o PreTokenizer normalizador padrão para substituir o normalizador padrão, se desejado. |
| SpecialTokens |
Obtém ou define os tokens especiais a serem usados. |
| UnknownToken |
Obtém ou define o token desconhecido a ser usado. |