構成オプションを設定します。 この方法で設定されたオプションは、自動的に SparkConf と SparkSessionの両方の設定に伝播されます。
Syntax
config(key=None, value=None, conf=None, *, map=None)
Parameters
| パラメーター | タイプ | 説明 |
|---|---|---|
key |
str、省略可能 | 構成プロパティのキーネーム文字列です。 |
value |
str、省略可能 | 構成プロパティの値です。 |
conf |
SparkConf、任意 |
SparkConfのインスタンス。 |
map |
dict、省略可能 | 設定する構成の辞書。 |
Returns
SparkSession.Builder
例示
# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)
# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")
# Set multiple configurations.
SparkSession.builder.config(
"spark.some.config.number", 123).config("spark.some.config.float", 0.123)
# Set multiple configurations using a dictionary.
SparkSession.builder.config(
map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})