Tokenizer Constructeurs
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Surcharges
| Nom | Description |
|---|---|
| Tokenizer() |
Initialise une nouvelle instance de la classe Tokenizer. |
| Tokenizer(Model, PreTokenizer, Normalizer) |
Créez un objet Tokenizer. |
Tokenizer()
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Initialise une nouvelle instance de la classe Tokenizer.
protected Tokenizer();Protected Sub New ()S’applique à
Tokenizer(Model, PreTokenizer, Normalizer)
Créez un objet Tokenizer.
public Tokenizer(Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Paramètres
- model
- Model
Modèle utilisé par le tokenizer.
- preTokenizer
- PreTokenizer
PreTokenizer facultatif utilisé par le tokenizer. WhiteSpace PreTokenizer est utilisé si ce paramètre a la valeur Null.
- normalizer
- Normalizer
Normaliseur facultatif en cours d’utilisation par le tokenizer.