TextFeaturizingEstimator Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Eine Schätzung, die eine Sammlung von Textdokumenten in numerische Featurevektoren verwandelt. Die Featurevektoren sind normalisierte Anzahl von Wörtern und/oder Zeichen n-Gramm (basierend auf den bereitgestellten Optionen).
public sealed class TextFeaturizingEstimator : Microsoft.ML.IEstimator<Microsoft.ML.ITransformer>type TextFeaturizingEstimator = class
interface IEstimator<ITransformer>Public NotInheritable Class TextFeaturizingEstimator
Implements IEstimator(Of ITransformer)- Vererbung
-
TextFeaturizingEstimator
- Implementiert
Hinweise
Schätzeigenschaften
| Muss dieser Schätzer die Daten untersuchen, um seine Parameter zu trainieren? | Yes. |
| Eingabespaltendatentyp | text |
| Ausgabespaltendatentyp | Vektor von Single |
| Exportierbar in ONNX | No |
Dieser Schätzer gibt dem Benutzer eine One-Stop-Lösung für folgende Aktionen:
- Language Detection
- Tokenisierung
- Textnormalisierung
- Vordefiniertes und benutzerdefiniertes Entfernen von Stoppwörtern
- Word-basierte oder zeichenbasierte Ngram-Extraktion und SkipGram-Extraktion (über die erweiterten Optionen)
- TF, IDF oder TF-IDF
- L-p-Vektornormalisierung
Standardmäßig bestehen die Features aus (Wort/Zeichen) n-Gramm/Skip-Gramm, und die Anzahl der Features entspricht der Vokabulargröße, die durch die Analyse der Daten gefunden wird. Um eine zusätzliche Spalte mit den generierten Token auszugeben, verwenden Sie OutputTokensColumnName. Die Anzahl der Features kann auch angegeben werden, indem sie die maximale Anzahl von n-Gramm auswählen, um TextFeaturizingEstimator.Optionsim Schätzwert zu bleiben, wo der Schätzer weiter abgestimmt werden kann.
Im Abschnitt "Siehe auch" finden Sie Links zu Verwendungsbeispielen.
Methoden
| Name | Beschreibung |
|---|---|
| Fit(IDataView) |
Züge und Gibt einen ITransformer. |
| GetOutputSchema(SchemaShape) |
Gibt das SchemaShape Schema zurück, das vom Transformator erzeugt wird. Wird für die Schemaverteilung und Überprüfung in einer Pipeline verwendet. |
Erweiterungsmethoden
| Name | Beschreibung |
|---|---|
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Fügen Sie einen "Zwischenspeicherungsprüfpunkt" an die Schätzkette an. Dadurch wird sichergestellt, dass die nachgeschalteten Schätzer anhand zwischengespeicherter Daten trainiert werden. Es ist hilfreich, einen Zwischenspeicherprüfpunkt vor Trainern zu haben, die mehrere Datendurchläufe übernehmen. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Geben Sie bei einer Schätzung ein Wrapping-Objekt zurück, das eine Stellvertretung aufruft, sobald Fit(IDataView) sie aufgerufen wird. Es ist häufig wichtig, dass ein Schätzer Informationen zu dem, was passt, zurückgeben, weshalb die Fit(IDataView) Methode ein speziell typiertes Objekt und nicht nur ein allgemeines ITransformerObjekt zurückgibt. IEstimator<TTransformer> Gleichzeitig werden jedoch oft in Pipelines mit vielen Objekten gebildet, daher müssen wir möglicherweise eine Kette von Schätzern bauen, über EstimatorChain<TLastTransformer> die der Schätzer, für den wir den Transformator erhalten wollen, irgendwo in dieser Kette begraben wird. Für dieses Szenario können wir über diese Methode einen Delegat anfügen, der aufgerufen wird, sobald "Fit" aufgerufen wird. |