Tokenizer Constructores
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| Tokenizer() |
Inicializa una nueva instancia de la clase Tokenizer. |
| Tokenizer(Model, PreTokenizer, Normalizer) |
Cree un nuevo objeto Tokenizer. |
Tokenizer()
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Inicializa una nueva instancia de la clase Tokenizer.
protected Tokenizer();Protected Sub New ()Se aplica a
Tokenizer(Model, PreTokenizer, Normalizer)
Cree un nuevo objeto Tokenizer.
public Tokenizer(Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parámetros
- model
- Model
Modelo en uso por el tokenizador.
- preTokenizer
- PreTokenizer
PreTokenizer opcional en uso por el tokenizador. WhiteSpace PreTokenizer se usará si este parámetro es null.
- normalizer
- Normalizer
Normalizador opcional que usa el tokenizador.