ใช้ ai.extract กับ PySpark

ฟังก์ชันจะ ai.extract แยกฟิลด์ เช่น ชื่อ ตําแหน่งที่ตั้ง หรือเอนทิตีแบบกําหนดเองจากแต่ละแถวอินพุต

Overview

ฟังก์ชันนี้ai.extractพร้อมใช้งานสําหรับ Spark DataFrames คุณต้องระบุชื่อของคอลัมน์อินพุตที่มีอยู่เป็นพารามิเตอร์ พร้อมกับรายการชนิดเอนทิตีเพื่อแยกจากแต่ละแถวของข้อความ

ฟังก์ชันจะส่งกลับ DataFrame ใหม่ โดยมีคอลัมน์แยกต่างหากสําหรับแต่ละชนิดเอนทิตีที่ระบุที่มีค่าที่แยกออกมาสําหรับแต่ละแถวอินพุต

การแยกที่ขับเคลื่อนด้วยสคีมา

aifunc.ExtractLabel รองรับคําจํากัดความ JSON Schema สําหรับการแยกแบบมีโครงสร้าง นอกเหนือจากประเภทพื้นฐาน (string, number, , integerและ boolean) คุณสามารถใช้:

• Enums: จํากัดค่าให้เป็นเซตคงที่ (เช่น "enum": ["midfielder", "striker", "defender"])
• อาร์เรย์: กําหนดสคีมาองค์ประกอบผ่าน items (ตัวอย่างเช่น "type": "array", "items": {"type": "string"})
• ออบเจ็กต์ที่มีคุณสมบัติ: ระบุฟิลด์ที่ซ้อนกันด้วย properties และชนิดของออบเจ็กต์
• ช่องที่ต้องกรอก: ทําเครื่องหมายช่องบังคับด้วย required เพื่อให้แน่ใจว่ามีอยู่ในเอาต์พุตเสมอ
• ไม่มีฟิลด์เพิ่มเติม: ตั้งค่า additionalProperties=false เพื่อป้องกันไม่ให้โมเดลส่งคืนฟิลด์นอก Schema ที่กําหนดไว้
• ค่าที่ Nullable: แสดงชนิดที่ null ได้ (เช่น type=["string", "null"]) สําหรับข้อมูลที่ไม่บังคับ

เมื่อใช้ใน PySpark จะai.extractทํางานเป็นการแปลง Spark แบบกระจายทั่วทั้งพาร์ติชัน Fabric Spark

วากยสัมพันธ์

from synapse.ml.spark import aifunc

df.ai.extract(labels=["entity1", "entity2", "entity3"], input_col="input")

พารามิเตอร์

พารามิเตอร์ ExtractLabel

การส่งคืน

ฟังก์ชันส่งคืน Spark DataFrame พร้อมคอลัมน์ใหม่สําหรับแต่ละชนิดเอนทิตีที่ระบุ คอลัมน์หรือคอลัมน์มีเอนทิตีที่แยกออกมาสําหรับแต่ละแถวของข้อความที่ป้อนเข้า ถ้าไม่พบคู่ที่ตรงกัน ผลลัพธ์จะเป็น null

ชนิดการส่งคืนเริ่มต้นคือรายการของสตริงสําหรับแต่ละป้ายชื่อ เมื่อ max_items ไม่ได้ระบุ ระบบจะส่งคืนรายการที่ตรงกันหลายรายการเป็นรายการ ถ้าคุณระบุชนิดอื่นใน aifunc.ExtractLabel การกําหนดค่า (ตัวอย่างเช่น type="integer") ผลลัพธ์คือรายการของค่าของชนิดนั้น ถ้าคุณระบุ max_items=1รายการองค์ประกอบเดียวจะถูกสร้างขึ้นสําหรับป้ายชื่อนั้น ชนิดองค์ประกอบของแต่ละรายการจะเป็นไปตาม Schema ที่คุณระบุ

ตัวอย่าง

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("MJ Lee lives in Tucson, AZ, and works as a software engineer for Contoso.",),
        ("Kris Turner, a nurse at NYU Langone, is a resident of Jersey City, New Jersey.",)
    ], ["descriptions"])

df_entities = df.ai.extract(labels=["name", "profession", "city"], input_col="descriptions")
display(df_entities)

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Alex Rivera, a 24-year-old midfielder from Barcelona, scored 12 goals last season, with an impressive 5 goals in one game.",),
        ("Jordan Smith, a 29-year-old striker from Manchester, scored exactly 1 goal in every game, for a total of 34 goals.",)
    ], ["bio"])

df = df.ai.extract(
        aifunc.ExtractLabel(
            label = "goals", 
            description = "total goals only", 
            max_items = 1, 
            type = "integer"
        ), 
        input_col="bio"
    )
display(df)

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Alex Rivera, a 24-year-old midfielder from Barcelona, scored 12 goals last season.",),
        ("Jordan Smith, a 29-year-old striker from Manchester, scored 34 goals in all competitions.",)
    ], ["bio"])

df = df.ai.extract(
        aifunc.ExtractLabel(
            label="player_stats",
            type="object",
            properties={
                "name": {"type": "string"},
                "position": {"type": "string", "enum": ["midfielder", "striker", "defender", "goalkeeper"]},
                "goals": {"type": "integer"}
            },
            required=["name", "goals"],
            additionalProperties=False,
            max_items=1,
        ),
        input_col="bio"
    )
display(df)

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Jordan is skilled in Python, SQL, and machine learning.",),
        ("Alex specializes in data engineering and cloud architecture.",)
    ], ["profile"])

df = df.ai.extract(
        aifunc.ExtractLabel(
            label="skills",
            type="array",
            properties={
                "items": {"type": "string"}
            },
        ),
        input_col="profile"
    )
display(df)

อินพุตหลายรูปแบบ

หากต้องการแยกฟิลด์จากรูปภาพ PDF หรือไฟล์ข้อความ ให้ตั้งค่าinput_col_type="path" สําหรับการตั้งค่า โปรดดู ใช้อินพุตหลายรูปแบบกับฟังก์ชัน AI

# This code uses AI. Always review output for mistakes.

extracted = custom_df.ai.extract(
    labels=[
        aifunc.ExtractLabel(
            "name",
            description="The full name of the candidate, first letter capitalized.",
            max_items=1,
        ),
        "companies_worked_for",
        aifunc.ExtractLabel(
            "year_of_experience",
            description="The total years of professional work experience the candidate has, excluding internships.",
            type="integer",
            max_items=1,
        ),
    ],
    input_col="file_path",
    input_col_type="path",
)
display(extracted)

เนื้อหาที่เกี่ยวข้อง

• ใช้ ai.extract กับแพนด้า
• เรียนรู้เพิ่มเติมเกี่ยวกับฟังก์ชัน AI
• ใช้อินพุตแบบหลายรูปแบบกับฟังก์ชัน AI
• เปลี่ยนการกําหนดค่าเริ่มต้นสําหรับฟังก์ชัน AI ด้วย PySpark
• ทําความเข้าใจการเรียกเก็บเงินสําหรับ AI Functions