config (SparkSession.Builder)

Legt eine Konfigurationsoption fest. Optionen, die mit dieser Methode gesetzt werden, werden automatisch sowohl auf die eigene Konfiguration als SparkSessionauch SparkConf auf 's eigene Konfiguration propagiert.

Syntax

config(key=None, value=None, conf=None, *, map=None)

Parameter

Parameter Typ Beschreibung
key STR, optional Ein Schlüsselnamensstring für eine Konfigurationseigenschaft.
value STR, optional Ein Wert für die Konfigurationseigenschaft.
conf SparkConf, optional Eine Instanz von SparkConf.
map Diktat, optional Ein Wörterbuch der zu setzenden Konfigurationen.

Returns

SparkSession.Builder

Examples

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})