configurazione (SparkSession.Builder)

Imposta un'opzione di configurazione. Le opzioni impostate con questo metodo vengono automaticamente propagate sia alla SparkConf configurazione di e SparkSession.

Syntax

config(key=None, value=None, conf=None, *, map=None)

Parametri

Parametro Tipo Descrizione
key str, facoltativo Una stringa di nome chiave per una proprietà di configurazione.
value str, facoltativo Un valore per la proprietà di configurazione.
conf SparkConf, opzionale Istanza di SparkConf.
map dict, facoltativo Un dizionario di configurazioni da impostare.

Returns

SparkSession.Builder

Examples

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})
  • Last updated on