保存

将内容 DataFrame 保存到数据源。 数据源由 format 一组和一组 options指定。 如果未 format 指定,则使用由 spark.sql.sources.default 其配置的默认数据源。

Syntax

save(path=None, format=None, mode=None, partitionBy=None, **options)

参数

参数 类型 说明
path str,可选 Hadoop 支持的文件系统中的路径。
format str,可选 用于保存的格式。
mode str,可选 数据已存在时的行为。 接受的值是 'append''overwrite''ignore''error''errorifexists' (默认值)。
partitionBy 列表,可选 分区列的名称。
**options dict 其他字符串选项。

退货

没有

示例

将 DataFrame 写入 JSON 文件,并将其读回。

import tempfile
with tempfile.TemporaryDirectory(prefix="save") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.mode("overwrite").format("json").save(d)

    spark.read.format('json').load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+