TextFeaturizingEstimator Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Narzędzie do szacowania, które zamienia kolekcję dokumentów tekstowych na wektory cech liczbowych. Wektory cech są znormalizowanymi liczbami wyrazów i/lub n-gramów znaków (na podstawie podanych opcji).
public sealed class TextFeaturizingEstimator : Microsoft.ML.IEstimator<Microsoft.ML.ITransformer>type TextFeaturizingEstimator = class
interface IEstimator<ITransformer>Public NotInheritable Class TextFeaturizingEstimator
Implements IEstimator(Of ITransformer)- Dziedziczenie
-
TextFeaturizingEstimator
- Implementuje
Uwagi
Charakterystyka narzędzia do szacowania
| Czy ten narzędzie do szacowania musi przyjrzeć się danym, aby wytrenować jego parametry? | Yes. |
| Typ danych kolumny wejściowej | text |
| Typ danych kolumny wyjściowej | Wektor Single |
| Możliwość eksportowania do ONNX | No |
Ten narzędzie do szacowania zapewnia użytkownikowi jednokrotne rozwiązanie do wykonywania następujących czynności:
- wykrywanie języka
- Tokenizacja
- Normalizacja tekstu
- Wstępnie zdefiniowane i niestandardowe usuwanie stopwords
- Word oparte na znakach wyodrębnianie Ngramu i wyodrębnianie SkipGram (za pośrednictwem opcji zaawansowanych)
- TF, IDF lub TF-IDF
- Normalizacja wektorów L-p
Domyślnie funkcje są wykonane (słowo/znak) n-gramy/skip-gramy, a liczba cech jest równa rozmiarowi słownictwa znalezionego przez analizowanie danych. Aby wyświetlić dodatkową kolumnę z wygenerowanymi tokenami, użyj parametru OutputTokensColumnName. Liczbę funkcji można również określić, wybierając maksymalną liczbę n-gramów, aby zachować w TextFeaturizingEstimator.Optionsobiekcie , gdzie narzędzie do szacowania można dalej dostroić.
Zapoznaj się z sekcją Zobacz również, aby uzyskać linki do przykładów użycia.
Metody
| Nazwa | Opis |
|---|---|
| Fit(IDataView) |
Trenuje i zwraca wartość ITransformer. |
| GetOutputSchema(SchemaShape) |
SchemaShape Zwraca schemat, który zostanie wygenerowany przez transformator. Służy do propagacji schematu i weryfikacji w potoku. |
Metody rozszerzania
| Nazwa | Opis |
|---|---|
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Dołącz punkt kontrolny buforowania do łańcucha narzędzia do szacowania. Zapewni to, że narzędzia do szacowania podrzędnego zostaną wytrenowane z buforowanych danych. Warto mieć punkt kontrolny buforowania, zanim trenerzy przejdą wiele danych. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Biorąc pod uwagę narzędzie do szacowania, zwróć obiekt opakowujący, który wywoła delegata po Fit(IDataView) wywołaniu. Często ważne jest, aby narzędzie do szacowania zwracało informacje o tym, co było odpowiednie, dlatego Fit(IDataView) metoda zwraca specjalnie wpisany obiekt, a nie tylko ogólne ITransformer. Jednak w tym samym czasie IEstimator<TTransformer> są często tworzone w potoki z wieloma obiektami, więc może być konieczne utworzenie łańcucha narzędzi do szacowania za pośrednictwem EstimatorChain<TLastTransformer> miejsca, w którym narzędzie do szacowania, dla którego chcemy uzyskać transformator jest pochowany gdzieś w tym łańcuchu. W tym scenariuszu możemy za pomocą tej metody dołączyć delegata, który będzie wywoływany po wywołaniu dopasowania. |