检查点

返回此 DataFrame 的检查点版本。 检查点可用于截断此 DataFrame 的逻辑计划，这在迭代算法中特别有用，在这些算法中，计划可能会呈指数级增长。 它将保存到使用 SparkContext.setCheckpointDir或 spark.checkpoint.dir 配置设置的检查点目录内的文件。

Syntax

checkpoint(eager: bool = True)

参数

参数 类型 说明
eager bool、optional、default True 是否立即检查此数据帧。

退货

DataFrame：检查点数据帧。

备注

此 API 是实验性的。

示例

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]
  • Last updated on