microsoftml.categorical: Omvandlar en textkolumn till kategorier

Usage

microsoftml.categorical(cols: [str, dict, list], output_kind: ['Bag', 'Ind',
    'Key', 'Bin'] = 'Ind', max_num_terms: int = 1000000,
    terms: int = None, sort: ['Occurrence', 'Value'] = 'Occurrence',
    text_key_values: bool = False, **kargs)

Description

Kategorisk transform som kan utföras på data innan en modell tränar.

Detaljer

Transformen categorical passerar genom en datamängd som arbetar med textkolumner för att bygga en ordbok över kategorier. För varje rad definieras hela textsträngen som visas i indatakolumnen som en kategori. Utgången från den kategoriska transformen är en indikatorvektor. Varje plats i denna vektor motsvarar en kategori i ordboken, så dess längd är storleken på den byggda ordboken. Den kategoriska transformen kan tillämpas på en eller flera kolumner, i vilket fall den bygger en separat ordbok för varje kolumn den tillämpas på.

categorical stöds för närvarande inte för att hantera faktordata.

Arguments

kolumner

En teckensträng eller lista med variabelnamn att transformera. Om dict, representerar nycklarna namnen på nya variabler som ska skapas.

output_kind

En teckensträng som specificerar typen av utdata.

  • "Bag": Ger en multi-set vektor. Om indatakolumnen är en vektor av kategorier innehåller utdata en vektor, där värdet i varje slot är antalet förekomster av kategorin i indatavektorn. Om indatakolumnen innehåller en enda kategori är indikatorvektorn och påsevektorn ekvivalenta

  • "Ind": Ger ut en indikatorvektor. Indatakolumnen är en vektor av kategorier, och utdata innehåller en indikatorvektor per plats i indatakolumnen.

  • "Key": Ger ut ett index. Utdata är ett heltals-ID (mellan 1 och antalet kategorier i ordboken) för kategorin.

  • "Bin": Ger en vektor som är den binära representationen av kategorin.

Standardvärdet är "Ind".

max_num_terms

Ett heltal som anger det maximala antalet kategorier som ska inkluderas i ordboken. Standardvärdet är 1000000.

villkor

Valfri teckenvektor för termer eller kategorier.

sort

En teckensträng som specificerar sorteringskriterierna.

  • "Occurrence": Sortera kategorier efter förekomster. Det vanligaste är först.

  • "Value": Sortera kategorier efter värden.

text_key_values

Om nyckelvärdemetadata bör vara text, oavsett den faktiska indatatypen.

kargs

Ytterligare argument som skickas till beräkningsmotorn.

Retur

Ett objekt som definierar transformeringen.

Example

'''
Example on rx_logistic_regression and categorical.
'''
import numpy
import pandas
from microsoftml import rx_logistic_regression, categorical, rx_predict

train_reviews = pandas.DataFrame(data=dict(
    review=[
        "This is great", "I hate it", "Love it", "Do not like it", "Really like it",
        "I hate it", "I like it a lot", "I kind of hate it", "I do like it",
        "I really hate it", "It is very good", "I hate it a bunch", "I love it a bunch",
        "I hate it", "I like it very much", "I hate it very much.",
        "I really do love it", "I really do hate it", "Love it!", "Hate it!",
        "I love it", "I hate it", "I love it", "I hate it", "I love it"],
    like=[True, False, True, False, True, False, True, False, True, False,
        True, False, True, False, True, False, True, False, True, False, True,
        False, True, False, True]))
        
test_reviews = pandas.DataFrame(data=dict(
    review=[
        "This is great", "I hate it", "Love it", "Really like it", "I hate it",
        "I like it a lot", "I love it", "I do like it", "I really hate it", "I love it"]))

# Use a categorical transform: the entire string is treated as a category
out_model = rx_logistic_regression("like ~ reviewCat",
                data=train_reviews,
                ml_transforms=[categorical(cols=dict(reviewCat="review"))])
                
# Note that 'I hate it' and 'I love it' (the only strings appearing more than once)
# have non-zero weights.
print(out_model.coef_)

# Use the model to score.
source_out_df = rx_predict(out_model, data=test_reviews, extra_vars_to_write=["review"])
print(source_out_df.head())

Resultat:

Beginning processing data.
Rows Read: 25, Read Time: 0, Transform Time: 0
Beginning processing data.
Not adding a normalizer.
Beginning processing data.
Rows Read: 25, Read Time: 0, Transform Time: 0
Beginning processing data.
Beginning processing data.
Rows Read: 25, Read Time: 0, Transform Time: 0
Beginning processing data.
LBFGS multi-threading will attempt to load dataset into memory. In case of out-of-memory issues, turn off multi-threading by setting trainThreads to 1.
Warning: Too few instances to use 4 threads, decreasing to 1 thread(s)
Beginning optimization
num vars: 20
improvement criterion: Mean Improvement
L1 regularization selected 3 of 20 weights.
Not training a calibrator because it is not needed.
Elapsed time: 00:00:01.6550695
Elapsed time: 00:00:00.2259981
OrderedDict([('(Bias)', 0.21317288279533386), ('I hate it', -0.7937591671943665), ('I love it', 0.19668534398078918)])
Beginning processing data.
Rows Read: 10, Read Time: 0, Transform Time: 0
Beginning processing data.
Elapsed time: 00:00:00.1385248
Finished writing 10 rows.
Writing completed.
           review PredictedLabel     Score  Probability
0   This is great           True  0.213173     0.553092
1       I hate it          False -0.580586     0.358798
2         Love it           True  0.213173     0.553092
3  Really like it           True  0.213173     0.553092
4       I hate it          False -0.580586     0.358798

Relaterat innehåll

  • Last updated on