将此 f 函数应用于此数据帧的每个分区。
Syntax
foreachPartition(f: Callable[[Iterator[Row]], None])
参数
| 参数 | 类型 | 说明 |
|---|---|---|
f |
函数 | 一个接受一个参数的函数，该参数将接收要处理的每个分区。 |
示例
df = spark.createDataFrame(
[(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
def func(itr):
for person in itr:
print(person.name)
df.foreachPartition(func)