将内容 DataFrame 保存到数据源。 数据源由 format 一组和一组 options指定。 如果未 format 指定,则使用由 spark.sql.sources.default 其配置的默认数据源。
Syntax
save(path=None, format=None, mode=None, partitionBy=None, **options)
参数
| 参数 | 类型 | 说明 |
|---|---|---|
path |
str,可选 | Hadoop 支持的文件系统中的路径。 |
format |
str,可选 | 用于保存的格式。 |
mode |
str,可选 | 数据已存在时的行为。 接受的值是 'append'、 'overwrite'、 'ignore'或 'error''errorifexists' (默认值)。 |
partitionBy |
列表,可选 | 分区列的名称。 |
**options |
dict | 其他字符串选项。 |
退货
没有
示例
将 DataFrame 写入 JSON 文件,并将其读回。
import tempfile
with tempfile.TemporaryDirectory(prefix="save") as d:
spark.createDataFrame(
[{"age": 100, "name": "Alice"}]
).write.mode("overwrite").format("json").save(d)
spark.read.format('json').load(d).show()
# +---+------------+
# |age| name|
# +---+------------+
# |100|Alice|
# +---+------------+