byggmästare

Gränssnitt för att bygga sessionskonfigurationen.

Syntax

builder

Methods

Metod Description
appName(name) Sätter ett namn för applikationen, vilket visas i Spark:s webbgränssnitt.
create() Skapar en ny SparkSession.
config(key, value, conf, map) Anger ett konfigurationsalternativ. Alternativen sprids automatiskt till både SparkConf och SparkSessions egen konfiguration.
enableHiveSupport() Aktiverar Hive-stöd, inklusive anslutning till ett beständiga Hive-metaarkiv.
getOrCreate() Hämtar en befintlig SparkSession eller, om det inte finns någon befintlig, skapar en ny baserat på de alternativ som anges i den här versionen.
master(master) Anger den Spark-huvud-URL som ska anslutas till.
remote(url) Anger att Spark-fjärr-URL:en ska ansluta via Spark Connect.

Examples

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+
  • Last updated on