config (SparkSession.Builder)

Ustawia opcję konfiguracji. Opcje ustawione tą metodą są automatycznie propagowane do konfiguracji zarówno SparkConf obu stron, jak i SparkSession'.

Syntax

config(key=None, value=None, conf=None, *, map=None)

Parameters

Parametr Typ Opis
key str, opcjonalnie Ciąg nazw klucza dla właściwości konfiguracyjnej.
value str, opcjonalnie Wartość właściwości konfiguracyjnej.
conf SparkConf, opcjonalnie Przypadek SparkConf.
map dict, opcjonalnie Słownik konfiguracji do ustawienia.

Returns

SparkSession.Builder

Examples

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})
  • Last updated on