TextFeaturizingEstimator Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Estimateur qui transforme une collection de documents texte en vecteurs de caractéristiques numériques. Les vecteurs de caractéristiques sont des nombres normalisés de mots et/ou de caractères n-grammes (en fonction des options fournies).
public sealed class TextFeaturizingEstimator : Microsoft.ML.IEstimator<Microsoft.ML.ITransformer>type TextFeaturizingEstimator = class
interface IEstimator<ITransformer>Public NotInheritable Class TextFeaturizingEstimator
Implements IEstimator(Of ITransformer)- Héritage
-
TextFeaturizingEstimator
- Implémente
Remarques
Caractéristiques de l’estimateur
| Cet estimateur doit-il examiner les données pour entraîner ses paramètres ? | Yes. |
| Type de données de colonne d’entrée | text |
| Type de données de colonne de sortie | Vecteur de Single |
| Exportable vers ONNX | Non |
Cet estimateur donne à l’utilisateur une solution unique pour effectuer les actions suivantes :
- Language Detection
- Tokenization
- Normalisation du texte
- Suppression de mots vides prédéfinis et personnalisés
- extraction Ngram basée sur Word ou sur des caractères et extraction SkipGram (via les options avancées)
- TF, IDF ou TF-IDF
- Normalisation vectorielle L-p
Par défaut, les caractéristiques sont constituées de n-grammes/skip-grammes et le nombre de caractéristiques est égal à la taille de vocabulaire trouvée en analysant les données. Pour générer une colonne supplémentaire avec les jetons générés, utilisez OutputTokensColumnName. Le nombre de caractéristiques peut également être spécifié en sélectionnant le nombre maximal de n-grammes à conserver dans le TextFeaturizingEstimator.Options, où l’estimateur peut être amélioré.
Consultez la section Voir aussi pour obtenir des liens vers des exemples d’utilisation.
Méthodes
| Nom | Description |
|---|---|
| Fit(IDataView) |
Effectue l’apprentissage et retourne un ITransformer. |
| GetOutputSchema(SchemaShape) |
Retourne le SchemaShape schéma qui sera produit par le transformateur. Utilisé pour la propagation et la vérification du schéma dans un pipeline. |
Méthodes d’extension
| Nom | Description |
|---|---|
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Ajoutez un « point de contrôle de mise en cache » à la chaîne d’estimateur. Cela garantit que les estimateurs en aval seront entraînés par rapport aux données mises en cache. Il est utile d’avoir un point de contrôle de mise en cache avant les formateurs qui prennent plusieurs passes de données. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
En fonction d’un estimateur, retournez un objet de création de package de restrictions qui appellera un délégué une fois Fit(IDataView) appelé. Il est souvent important pour un estimateur de retourner des informations sur ce qui était adapté, c’est pourquoi la Fit(IDataView) méthode retourne un objet spécifiquement typé, plutôt que simplement un général ITransformer. Toutefois, en même temps, IEstimator<TTransformer> sont souvent formés en pipelines avec de nombreux objets, nous devrons peut-être construire une chaîne d’estimateurs via EstimatorChain<TLastTransformer> laquelle l’estimateur pour lequel nous voulons obtenir le transformateur est enterré quelque part dans cette chaîne. Pour ce scénario, nous pouvons par le biais de cette méthode attacher un délégué qui sera appelé une fois l’ajustement appelé. |