config (SparkSession.Builder)

Hiermee stelt u een configuratieoptie in. Opties die met deze methode worden ingesteld, worden automatisch doorgegeven aan zowel SparkConf als SparkSession's eigen configuratie.

Syntax

config(key=None, value=None, conf=None, *, map=None)

Parameters

Parameter Type Beschrijving
key str, optioneel Een sleutelnaamstring voor een configuratie-eigenschap.
value str, optioneel Een waarde voor de configuratie-eigenschap.
conf SparkConf, optioneel Een exemplaar van SparkConf.
map dicteren, optioneel Een woordenboek van configuraties om in te stellen.

Returns

SparkSession.Builder

Examples

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})