toLocalIterator

返回一个迭代器,其中包含此数据帧中的所有行。 迭代器将消耗与此 DataFrame 中最大的分区一样多的内存。 使用预提取时,它最多可能会占用 2 个最大分区的内存。

Syntax

toLocalIterator(prefetchPartitions: bool = False)

参数

参数 类型 说明
prefetchPartitions bool,可选 如果 Spark 应在需要之前预提取下一个分区。

退货

迭代器:行的迭代器。

示例

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
list(df.toLocalIterator())
# [Row(age=14, name='Tom'), Row(age=23, name='Alice'), Row(age=16, name='Bob')]