unpersist

Marca el DataFrame como no persistente y quita todos los bloques de memoria y disco.

Sintaxis

unpersist(blocking: bool = False)

Parámetros

Parámetro Tipo Descripción
blocking bool Si se va a bloquear hasta que se eliminen todos los bloques.

Devoluciones

DataFrame: DataFrame no supervisado.

Notas

blocking default ha cambiado a para False que coincida con Scala en 2.0.

En la computación clásica, los datos en caché se comparten entre todas las sesiones de Spark en el clúster, por lo que la inpersistencia afecta a todas las sesiones.

En computación serverless, unpersist() marca el resultado en caché como listo para ser recuperado e ignora blocking. Después de eso, el DataFrame y los DataFrames derivados de él ya no pueden utilizarse. Consulta Cache DataFrames en computación serverless.

Ejemplos

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]