partitions (DataSourceStreamReader)

返回给定开始和结束偏移量的对象列表 InputPartition

每个 InputPartition 表示可由一个 Spark 任务处理的数据拆分。 使用空偏移范围 start == end调用时,此方法应返回空序列。

在 Databricks Runtime 15.2 中添加

Syntax

partitions(start: dict, end: dict)

参数

参数 类型 说明
start dict 用于计划分区的微分块的开始偏移量。
end dict 用于计划分区的微分块的结束偏移量。

退货

Sequence[InputPartition]

此数据源的分区序列。 每个分区值必须是它的实例 InputPartition 或子类。