Tokenizer Construtores
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| Tokenizer() |
Inicializa uma nova instância da classe Tokenizer. |
| Tokenizer(Model, PreTokenizer, Normalizer) |
Crie um novo objeto Tokenizer. |
Tokenizer()
- Origem:
- Tokenizer.cs
- Origem:
- Tokenizer.cs
- Origem:
- Tokenizer.cs
Inicializa uma nova instância da classe Tokenizer.
protected Tokenizer();Protected Sub New ()Aplica-se a
Tokenizer(Model, PreTokenizer, Normalizer)
Crie um novo objeto Tokenizer.
public Tokenizer(Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parâmetros
- model
- Model
O modelo em uso pelo Tokenizer.
- preTokenizer
- PreTokenizer
O PreTokenizer opcional em uso pelo Tokenizer. O PreTokenizer do WhiteSpace será usado se esse parâmetro for nulo.
- normalizer
- Normalizer
O Normalizador opcional em uso pelo Tokenizer.