config (SparkSession.Builder)

Définit une option de configuration. Les options définies par cette méthode sont automatiquement propagées à la configuration propre à SparkConf et SparkSession.

Syntax

config(key=None, value=None, conf=None, *, map=None)

Parameters

Paramètre Catégorie Description
key str, facultatif Une chaîne de noms clés pour une propriété de configuration.
value str, facultatif Une valeur pour la propriété de configuration.
conf SparkConf, optionnel Instance de SparkConf.
map dict, facultatif Un dictionnaire de configurations à définir.

Returns

SparkSession.Builder

Examples

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})