Bauherr

Schnittstelle zum Erstellen der Sitzungskonfiguration.

Syntax

builder

Methodik

Methode Beschreibung
appName(name) Legt einen Namen für die Anwendung fest, der in der Spark-Weboberfläche angezeigt wird.
create() Erstellt eine neue SparkSession.
config(key, value, conf, map) Legt eine Konfigurationsoption fest. Optionen werden automatisch an die eigene Konfiguration von SparkConf und SparkSession weitergegeben.
enableHiveSupport() Ermöglicht die Hive-Unterstützung, einschließlich der Konnektivität mit einem persistenten Hive-Metaspeicher.
getOrCreate() Ruft eine vorhandene SparkSession ab, oder, wenn keine vorhanden ist, erstellt eine neue basierend auf den in diesem Generator festgelegten Optionen.
master(master) Legt die Spark-Master-URL fest, mit der eine Verbindung hergestellt werden soll.
remote(url) Legt die Spark-Remote-URL fest, die über Spark Connect verbunden werden soll.

Examples

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+
  • Last updated on