Ai.classify gebruiken met PySpark

De ai.classify functie categoriseert elke invoerrij met behulp van de labels die u opgeeft.

Opmerking

Overzicht

De ai.classify functie is beschikbaar voor Spark DataFrames. U moet de naam van een bestaande invoerkolom opgeven als parameter, samen met een lijst met classificatielabels.

De functie retourneert een nieuw DataFrame met labels die overeenkomen met elke rij invoertekst, opgeslagen in een uitvoerkolom.

Syntaxis

df.ai.classify(labels=["category1", "category2", "category3"], input_col="text", output_col="classification")

Parameterwaarden

Naam Description
labels
Verplicht		 Een matrix met tekenreeksen die de set classificatielabels vertegenwoordigt die overeenkomen met tekstwaarden in de invoerkolom.
input_col
Verplicht		 Een tekenreeks met de naam van een bestaande kolom met invoertekstwaarden die moeten worden geclassificeerd op basis van de aangepaste labels.
output_col
Optioneel		 Een tekenreeks die de naam van een nieuwe kolom bevat waarin u een classificatielabel wilt opslaan voor elke invoertekstrij. Als u deze parameter niet instelt, wordt er een standaardnaam gegenereerd voor de uitvoerkolom.
error_col
Optioneel		 Een tekenreeks die de naam van een nieuwe kolom bevat. In de nieuwe kolom worden eventuele OpenAI-fouten opgeslagen die het gevolg zijn van het verwerken van elke rij invoertekst. Als u deze parameter niet instelt, wordt er een standaardnaam gegenereerd voor de foutkolom. Als er geen fouten zijn voor een rij met invoer, wordt de waarde in deze kolom null.

Retouren

De functie retourneert een Spark DataFrame dat een nieuwe kolom bevat die classificatielabels bevat die overeenkomen met elke invoertekstrij. Als een tekstwaarde niet kan worden geclassificeerd, wordt het bijbehorende label null.

Example

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

Uitvoer:

Schermopname van een gegevensframe met 'beschrijvingen' en 'categorie'-kolommen. De kolom Categorie bevat de categorienaam van elke beschrijving.

Multimodale invoer

Als u afbeeldingen, PDF-bestanden of tekstbestanden wilt classificeren, stelt u deze in input_col_type="path". Zie Multimodale invoer gebruiken met AI Functions voor installatie.

# This code uses AI. Always review output for mistakes.

results = custom_df.ai.classify(
    labels=["Master", "PhD", "Bachelor", "Other"],
    input_col="file_path",
    input_col_type="path",
    output_col="highest_degree",
)
display(results)

Verwante inhoud

  • Last updated on