localCheckpoint

返回此 DataFrame 的本地检查点版本。 检查点可用于截断此 DataFrame 的逻辑计划,这在迭代算法中特别有用,在这些算法中,计划可能会呈指数级增长。 本地检查点使用缓存子系统存储在执行程序中,因此它们不可靠。

Syntax

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

参数

参数 类型 说明
eager bool、optional、default True 是否立即检查此数据帧。
storageLevel StorageLevel、可选、默认无 存储检查点的 StorageLevel。 如果未指定,则为 RDD 本地检查点默认值。

退货

DataFrame:检查点数据帧。

备注

此 API 是实验性的。

示例

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]