Verwenden von ai.classify mit PySpark

Die ai.classify Funktion kategorisiert jede Eingabezeile mithilfe der von Ihnen bereitgestellten Beschriftungen.

Hinweis

Überblick

Die ai.classify Funktion ist für Spark DataFrames verfügbar. Sie müssen den Namen einer vorhandenen Eingabespalte als Parameter zusammen mit einer Liste mit Klassifizierungsbezeichnungen angeben.

Die Funktion gibt einen neuen DataFrame mit Beschriftungen zurück, die jeder Zeile von Eingabetext entsprechen, die in einer Ausgabespalte gespeichert sind.

Syntax

df.ai.classify(labels=["category1", "category2", "category3"], input_col="text", output_col="classification")

Die Parameter

Name Description
labels
Erforderlich		 Ein Array von Zeichenfolgen, die den Satz von Klassifizierungsbezeichnungen darstellen, die mit Textwerten in der Eingabespalte übereinstimmen sollen.
input_col
Erforderlich		 Eine Zeichenfolge , die den Namen einer vorhandenen Spalte mit Eingabetextwerten enthält, die gemäß den benutzerdefinierten Bezeichnungen klassifiziert werden sollen.
output_col
Wahlfrei		 Eine Zeichenfolge , die den Namen einer neuen Spalte enthält, in der Sie eine Klassifizierungsbezeichnung für jede Eingabetextzeile speichern möchten. Wenn Sie diesen Parameter nicht festlegen, wird für die Ausgabespalte ein Standardname generiert.
error_col
Wahlfrei		 Eine Zeichenfolge, die den Namen einer neuen Spalte enthält. In der neuen Spalte werden alle OpenAI-Fehler gespeichert, die aus der Verarbeitung jeder Zeile von Eingabetext resultieren. Wenn Sie diesen Parameter nicht festlegen, wird für die Fehlerspalte ein Standardname generiert. Wenn keine Fehler für eine Zeile mit Eingabe vorhanden sind, ist der Wert in dieser Spalte null.

Rückkehr

Die Funktion gibt einen Spark DataFrame zurück, der eine neue Spalte enthält, die Klassifizierungsbezeichnungen enthält, die jeder Eingabetextzeile entsprechen. Wenn ein Textwert nicht klassifiziert werden kann, lautet das entsprechende Etikett null.

Example

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

Ausgabe:

Screenshot eines Datenrahmens mit den Spalten

Multimodale Eingabe

Um Bilder, PDF-Dateien oder Textdateien zu klassifizieren, legen Sie input_col_type="path"fest. Informationen zum Einrichten finden Sie unter "Verwenden von multimodalen Eingaben mit KI-Funktionen".

# This code uses AI. Always review output for mistakes.

results = custom_df.ai.classify(
    labels=["Master", "PhD", "Bachelor", "Other"],
    input_col="file_path",
    input_col_type="path",
    output_col="highest_degree",
)
display(results)

Verwandte Inhalte

  • Last updated on