unpersist

Markeert het DataFrame als niet-persistent en verwijder alle blokken ervoor uit het geheugen en de schijf.

Syntaxis

unpersist(blocking: bool = False)

Parameterwaarden

Kenmerk Typ Beschrijving
blocking bool Of u wilt blokkeren totdat alle blokken worden verwijderd.

Retouren

DataFrame: Niet-gepersisteerd DataFrame.

Aantekeningen

blocking standaard is gewijzigd zodat False deze overeenkomt met Scala in 2.0.

Bij klassieke berekening worden gecachte data gedeeld over alle Spark-sessies in de cluster, dus als het niet meer wordt gepersisteerd, beïnvloedt het alle sessies.

Op serverless compute unpersist() markeert het gecachte resultaat als klaar om teruggewonnen te worden en negeert blocking. Daarna kunnen de DataFrame en de DataFrames die ervan afgeleid zijn niet langer worden gebruikt. Zie Cache DataFrames op serverless compute.

Examples

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]