返回构成此数据帧的文件的最佳工作快照。 此方法只要求每个构成的 BaseRelation 各自的文件,并获取所有结果的并集。 根据源关系,这可能无法找到所有输入文件。 删除重复项。
Syntax
inputFiles()
退货
列表:文件路径列表。
示例
import os
import tempfile
with tempfile.TemporaryDirectory(prefix="inputFiles") as d:
spark.createDataFrame(
[{"age": 100, "name": "Alice"}]
).repartition(1).write.json(d, mode="overwrite")
df = spark.read.format("json").load(d)
if os.environ.get('PYTEST_DBCONNECT_MODE') is None:
len(df.inputFiles())
else:
1 # dbconnect doesn't support inputFiles.
# 1