PySpark で ai.classify を使用する

ai.classify関数は、指定したラベルを使用して各入力行を分類します。

注

  • この記事では、PySpark の ai.classify について説明します。 pandas については、「 pandas で ai.classify を使用する」を参照してください。
  • すべての AI 関数と前提条件については、 AI Functions の概要に関するページを参照してください。
  • PySpark を使用して AI Functions の既定の構成を変更します。

概要

ai.classify関数は Spark DataFrames で使用できます。 既存の入力列の名前をパラメーターとして、分類ラベルの一覧と共に指定する必要があります。

この関数は、出力列に格納されている入力テキストの各行に一致するラベルを持つ新しい DataFrame を返します。

構文

df.ai.classify(labels=["category1", "category2", "category3"], input_col="text", output_col="classification")

パラメーター

名前 Description
labels
必須		 入力列のテキスト値と一致する分類ラベルのセットを表す文字列の配列。
input_col
必須		 カスタム ラベルに従って分類する入力テキスト値を持つ既存の列の名前を含む 文字列 。
output_col
オプション		 入力テキスト行ごとに分類ラベルを格納する新しい列の名前を含む 文字列 。 このパラメーターを設定しない場合は、出力列に既定の名前が生成されます。
error_col
オプション		 新しい列の名前を含む 文字列 。 新しい列には、入力テキストの各行を処理した結果として発生する OpenAI エラーが格納されます。 このパラメーターを設定しない場合は、エラー列の既定の名前が生成されます。 入力行にエラーがない場合、この列の値は null。

返品ポリシー

この関数は、各入力テキスト行に一致する分類ラベルを含む新しい列を含む Spark DataFrame を返します。 テキスト値を分類できない場合は、対応するラベルが null。

Example

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

Output:

マルチモーダル入力

画像、PDF、またはテキスト ファイルを分類するには、 input_col_type="path"を設定します。 セットアップについては、「 AI 関数でマルチモーダル入力を使用する」を参照してください。

# This code uses AI. Always review output for mistakes.

results = custom_df.ai.classify(
    labels=["Master", "PhD", "Bachelor", "Other"],
    input_col="file_path",
    input_col_type="path",
    output_col="highest_degree",
)
display(results)

関連コンテンツ

  • Last updated on