Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Interface voor het bouwen van de sessieconfiguratie.
Syntax
builder
Methods
| Methode | Beschrijving |
|---|---|
appName(name) |
Stelt een naam in voor de applicatie, die wordt weergegeven in de Spark-webinterface. |
create() |
Hiermee maakt u een nieuwe SparkSession. |
config(key, value, conf, map) |
Hiermee stelt u een configuratieoptie in. Opties worden automatisch doorgegeven aan de eigen configuratie van SparkConf en SparkSession. |
enableHiveSupport() |
Biedt Hive-ondersteuning, inclusief connectiviteit met een permanente Hive-metastore. |
getOrCreate() |
Hiermee haalt u een bestaande SparkSession op of maakt u, als er geen bestaande is, een nieuwe op basis van de opties die in deze opbouwfunctie zijn ingesteld. |
master(master) |
Hiermee stelt u de SPARK-hoofd-URL in om verbinding mee te maken. |
remote(url) |
Hiermee stelt u de externe Spark-URL in om verbinding te maken via Spark Connect. |
Examples
spark = (
SparkSession.builder
.master("local")
.appName("Word Count")
.config("spark.some.config.option", "some-value")
.getOrCreate()
)
spark.sql("SELECT * FROM range(10) where id > 7").show()
+---+
| id|
+---+
| 8|
| 9|
+---+
spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()
+-----+---+
| name|age|
+-----+---+
|Alice| 1|
+-----+---+
spark.range(1, 7, 2).show()
+---+
| id|
+---+
| 1|
| 3|
| 5|
+---+