construtor

Interface para construir a configuração da sessão.

Syntax

builder

Methods

Método Description
appName(name) Define um nome para a aplicação, que é mostrado na interface web do Spark.
create() Cria um novo SparkSession.
config(key, value, conf, map) Define uma opção de configuração. As opções são automaticamente propagadas tanto para a SparkConf como para a própria configuração do SparkSession.
enableHiveSupport() Permite o suporte Hive, incluindo conectividade a uma metastore persistente Hive.
getOrCreate() Obtém um SparkSession existente ou, se não existir, cria um novo com base nas opções definidas neste construtor.
master(master) Define o URL mestre do Spark para se ligar.
remote(url) Define o URL remoto do Spark para se ligar via Spark Connect.

Exemplos

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+
  • Last updated on