configuración (SparkSession.Builder)

Establece una opción de configuración. Las opciones establecidas usando este método se propagan automáticamente a la configuración propia de y SparkConfSparkSession.

Syntax

config(key=None, value=None, conf=None, *, map=None)

Parameters

Parámetro Tipo Descripción
key str, opcional Una cadena de nombre clave para una propiedad de configuración.
value str, opcional Un valor para la propiedad de configuración.
conf SparkConf, opcional Instancia de SparkConf.
map dict, opcional Un diccionario de configuraciones para establecer.

Devoluciones

SparkSession.Builder

Examples

# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)

# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")

# Set multiple configurations.
SparkSession.builder.config(
    "spark.some.config.number", 123).config("spark.some.config.float", 0.123)

# Set multiple configurations using a dictionary.
SparkSession.builder.config(
    map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})
  • Last updated on