construtor

Interface para construir a configuração da sessão.

Syntax

builder

Methods

Método Descrição
appName(name) Define um nome para a aplicação, que é mostrado na interface web do Spark.
create() Cria uma nova SparkSession.
config(key, value, conf, map) Define uma opção de configuração. As opções são propagadas automaticamente para a configuração do SparkConf e do SparkSession.
enableHiveSupport() Habilita o suporte ao Hive, incluindo conectividade com um metastore de Hive persistente.
getOrCreate() Obtém um SparkSession existente ou, se não houver nenhum existente, cria um novo com base nas opções definidas neste construtor.
master(master) Define a URL mestra do Spark à qual se conectar.
remote(url) Define a URL remota do Spark para se conectar por meio do Spark Connect.

Examples

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+
  • Last updated on