Usare ai.extract con PySpark

La ai.extract funzione estrae campi come nomi, posizioni o entità personalizzate da ogni riga di input.

Informazioni generali

La ai.extract funzione è disponibile per i dataframe Spark. È necessario specificare il nome di una colonna di input esistente come parametro, insieme a un elenco di tipi di entità da estrarre da ogni riga di testo.

La funzione restituisce un nuovo dataframe, con una colonna separata per ogni tipo di entità specificato che contiene valori estratti per ogni riga di input.

Estrazione basata su schema

aifunc.ExtractLabel supporta le definizioni dello schema JSON per l'estrazione strutturata. Oltre ai tipi di base (string, number, integere boolean), è possibile usare:

• Enumerazioni: vincola i valori a un set fisso (ad esempio, "enum": ["midfielder", "striker", "defender"]).
• Matrici: definire gli schemi degli elementi tramite items (ad esempio, "type": "array", "items": {"type": "string"}).
• Oggetti con proprietà: specificare i campi annidati con properties e i loro tipi.
• Campi obbligatori: contrassegnare i campi obbligatori con required per assicurarsi che siano sempre presenti nell'output.
• Nessun campo aggiuntivo: impostato additionalProperties=false per impedire al modello di restituire campi esterni allo schema definito.
• Valori nullable: esprimono tipi nullable (ad esempio, type=["string", "null"]) per indicare dati facoltativi.

Quando viene usato in PySpark, ai.extract viene eseguito come una trasformazione Spark distribuita tra le partizioni Spark di Fabric.

Sintassi

from synapse.ml.spark import aifunc

df.ai.extract(labels=["entity1", "entity2", "entity3"], input_col="input")

Parametri

Parametri di ExtractLabel

Restituzioni

La funzione restituisce un dataframe Spark con una nuova colonna per ogni tipo di entità specificato. La colonna o le colonne contengono le entità estratte per ogni riga di testo di input. Se non viene trovata alcuna corrispondenza, il risultato è null.

Il tipo restituito predefinito è un elenco di stringhe per ogni etichetta. Quando max_items non viene specificato, le corrispondenze multiple vengono restituite sotto forma di elenco. Se si specifica un tipo diverso nella aifunc.ExtractLabel configurazione , ad esempio , type="integer"l'output è un elenco di valori di tale tipo. Se si specifica max_items=1, viene generato un elenco a singolo elemento per tale etichetta. Il tipo di elemento di ogni elenco segue lo schema specificato.

Example

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("MJ Lee lives in Tucson, AZ, and works as a software engineer for Contoso.",),
        ("Kris Turner, a nurse at NYU Langone, is a resident of Jersey City, New Jersey.",)
    ], ["descriptions"])

df_entities = df.ai.extract(labels=["name", "profession", "city"], input_col="descriptions")
display(df_entities)

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Alex Rivera, a 24-year-old midfielder from Barcelona, scored 12 goals last season, with an impressive 5 goals in one game.",),
        ("Jordan Smith, a 29-year-old striker from Manchester, scored exactly 1 goal in every game, for a total of 34 goals.",)
    ], ["bio"])

df = df.ai.extract(
        aifunc.ExtractLabel(
            label = "goals", 
            description = "total goals only", 
            max_items = 1, 
            type = "integer"
        ), 
        input_col="bio"
    )
display(df)

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Alex Rivera, a 24-year-old midfielder from Barcelona, scored 12 goals last season.",),
        ("Jordan Smith, a 29-year-old striker from Manchester, scored 34 goals in all competitions.",)
    ], ["bio"])

df = df.ai.extract(
        aifunc.ExtractLabel(
            label="player_stats",
            type="object",
            properties={
                "name": {"type": "string"},
                "position": {"type": "string", "enum": ["midfielder", "striker", "defender", "goalkeeper"]},
                "goals": {"type": "integer"}
            },
            required=["name", "goals"],
            additionalProperties=False,
            max_items=1,
        ),
        input_col="bio"
    )
display(df)

# This code uses AI. Always review output for mistakes.

df = spark.createDataFrame([
        ("Jordan is skilled in Python, SQL, and machine learning.",),
        ("Alex specializes in data engineering and cloud architecture.",)
    ], ["profile"])

df = df.ai.extract(
        aifunc.ExtractLabel(
            label="skills",
            type="array",
            properties={
                "items": {"type": "string"}
            },
        ),
        input_col="profile"
    )
display(df)

Input multimodale

Per estrarre campi da immagini, PDF o file di testo, impostare input_col_type="path". Per la configurazione, vedere Usare l'input multimodale con Funzioni di intelligenza artificiale.

# This code uses AI. Always review output for mistakes.

extracted = custom_df.ai.extract(
    labels=[
        aifunc.ExtractLabel(
            "name",
            description="The full name of the candidate, first letter capitalized.",
            max_items=1,
        ),
        "companies_worked_for",
        aifunc.ExtractLabel(
            "year_of_experience",
            description="The total years of professional work experience the candidate has, excluding internships.",
            type="integer",
            max_items=1,
        ),
    ],
    input_col="file_path",
    input_col_type="path",
)
display(extracted)

Contenuti correlati

• Usare ai.extract con pandas.
• Altre informazioni sulle funzioni di intelligenza artificiale.
• Usare l'input multimodale con funzioni di intelligenza artificiale.
• Modificare la configurazione predefinita per Funzioni di intelligenza artificiale con PySpark.
• Informazioni sulla fatturazione per le funzioni di intelligenza artificiale.