ビルダ

セッション構成を構築するためのインターフェース。

Syntax

builder

Methods

Method 説明
appName(name) アプリケーション名を設定し、SparkのウェブUIに表示されます。
create() 新しい SparkSession を作成します。
config(key, value, conf, map) 構成オプションを設定します。 オプションは、SparkConf と SparkSession の独自の構成の両方に自動的に反映されます。
enableHiveSupport() Hive のサポート (永続的な Hive メタストアへの接続を含む) を有効にします。
getOrCreate() 既存の SparkSession を取得するか、既存の SparkSession がない場合は、このビルダーで設定されたオプションに基づいて新しい SparkSession を作成します。
master(master) 接続先の Spark マスター URL を設定します。
remote(url) Spark Connect 経由で接続する Spark リモート URL を設定します。

例示

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+
  • Last updated on