使用提供的权重随机拆分此数据帧。
Syntax
randomSplit(weights: List[float], seed: Optional[int] = None)
参数
| 参数 | 类型 | 说明 |
|---|---|---|
weights |
列表 | 要拆分数据帧的权重的双精度值列表。 如果权重不总和为 1.0，则权重将得到规范化。 |
seed |
int，可选 | 用于采样的种子。 |
退货
列表：数据帧列表。
示例
from pyspark.sql import Row
df = spark.createDataFrame([
Row(age=10, height=80, name="Alice"),
Row(age=5, height=None, name="Bob"),
Row(age=None, height=None, name="Tom"),
Row(age=None, height=None, name=None),
])
splits = df.randomSplit([1.0, 2.0], 24)
splits[0].count()
# 2
splits[1].count()
# 2