Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Interface pour construire la configuration de la session.
Syntax
builder
Méthodes
| Méthode | Description |
|---|---|
appName(name) |
Donne un nom à l’application, qui est affiché dans l’interface web de Spark. |
create() |
Crée une session SparkSession. |
config(key, value, conf, map) |
Définit une option de configuration. Les options sont automatiquement propagées à la fois à sparkConf et à la configuration de SparkSession. |
enableHiveSupport() |
Active la prise en charge de Hive, notamment la connectivité à un metastore Hive persistant. |
getOrCreate() |
Obtient une session SparkSession existante ou, s’il n’y en a pas, crée une nouvelle en fonction des options définies dans ce générateur. |
master(master) |
Définit l’URL principale Spark à laquelle se connecter. |
remote(url) |
Définit l’URL distante Spark pour se connecter via Spark Connect. |
Examples
spark = (
SparkSession.builder
.master("local")
.appName("Word Count")
.config("spark.some.config.option", "some-value")
.getOrCreate()
)
spark.sql("SELECT * FROM range(10) where id > 7").show()
+---+
| id|
+---+
| 8|
| 9|
+---+
spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()
+-----+---+
| name|age|
+-----+---+
|Alice| 1|
+-----+---+
spark.range(1, 7, 2).show()
+---+
| id|
+---+
| 1|
| 3|
| 5|
+---+