Ai.classifyn käyttäminen PySparkin kanssa

Funktio ai.classify luokittelee jokaisen syöterivin käyttämällä antamiasi tunnisteita.

Note

Yleiskuvaus

Toiminto ai.classify on käytettävissä Spark DataFramesissa. Sinun on määritettävä parametriksi aiemmin luodun syötesarakkeen nimi sekä luokitusotsikoiden luettelo.

Funktio palauttaa uuden DataFrame-kehyksen, jonka otsikot vastaavat kutakin syötetekstiriviä ja jotka on tallennettu tulostesarakeeseen.

Syntaksi

df.ai.classify(labels=["category1", "category2", "category3"], input_col="text", output_col="classification")

Parametrit

Nimi Kuvaus
labels
Pakollinen		 Merkkijonojenmatriisi, joka edustaa luokitusotsikoiden joukkoa, joka vastaa syötesarakkeen tekstiarvoja.
input_col
Pakollinen		 Merkkijono, joka sisältää aiemmin luodun sarakkeen nimen, jossa on syötetekstiarvoja, jotka luokitellaan mukautettujen otsikoiden mukaan.
output_col
Valinnainen		 Merkkijono, joka sisältää uuden sarakkeen nimen, johon haluat tallentaa luokitteluotsikon kullekin syötetekstiriville. Jos et määritä tätä parametria, tulossarakkeelle luodaan oletusnimi.
error_col
Valinnainen		 Merkkijono, joka sisältää uuden sarakkeen nimen. Uusi sarake tallentaa kaikki OpenAI-virheet, jotka johtuvat kunkin syötetekstirivin käsittelemisestä. Jos et määritä tätä parametria, virhesarakkeelle luodaan oletusnimi. Jos syöterivillä ei ole virheitä, tämän sarakkeen arvo on null.

Palautukset

Funktio palauttaa Spark DataFramen , joka sisältää uuden sarakkeen, joka sisältää kutakin syötetekstiriviä vastaavia luokitusotsikoita. Jos tekstiarvoa ei voi luokitella, vastaava selite on null.

Esimerkki

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

Output:

Kuvakaappaus tietokehyksestä, jossa on

Multimodaalinen syöttö

Kuvien, PDF-tiedostojen tai tekstitiedostojen luokitteluun asetta input_col_type="path". Asetuksista katso Käytä multimodaalista syötettä tekoälyfunktioiden kanssa.

# This code uses AI. Always review output for mistakes.

results = custom_df.ai.classify(
    labels=["Master", "PhD", "Bachelor", "Other"],
    input_col="file_path",
    input_col_type="path",
    output_col="highest_degree",
)
display(results)

Aiheeseen liittyvä sisältö

  • Last updated on