config (SparkSession.Builder)

Define uma opção de configuração. Os conjuntos de opções que usam este método são automaticamente propagados para a configuração de ambos SparkConf , e SparkSession.

Syntax

config(key=None, value=None, conf=None, *, map=None)

Parameters

Parâmetro Tipo Description
key STR, opcional Uma cadeia de nomes-chave para uma propriedade de configuração.
value STR, opcional Um valor para a propriedade de configuração.
conf SparkConf, opcional Um exemplo de SparkConf.
map Dit, opcional Um dicionário de configurações a definir.

Returns

SparkSession.Builder

Exemplos

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})
  • Last updated on