unpersist

将 DataFrame 标记为非持久性,并从内存和磁盘中删除其所有块。

Syntax

unpersist(blocking: bool = False)

参数

参数 类型 说明
blocking 布尔 是否阻止,直到删除所有块。

退货

DataFrame:未压缩的数据帧。

备注

blocking 默认值已更改为 False 匹配 2.0 中的 Scala。

缓存的数据在群集上的所有 Spark 会话之间共享,因此取消缓存数据会影响所有会话。

示例

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]