exceptAll

返回一个新的数据帧,其中包含此数据帧中的行,但不在另一个 DataFrame 中保留重复项。

Syntax

exceptAll(other: "DataFrame")

参数

参数 类型 说明
other DataFrame 要比较的另一个数据帧。

退货

DataFrame

备注

这相当于 EXCEPT ALL 在 SQL 中。 作为 SQL 中的标准,此函数按位置(而不是按名称)解析列。

示例

df1 = spark.createDataFrame(
        [("a", 1), ("a", 1), ("a", 1), ("a", 2), ("b",  3), ("c", 4)], ["C1", "C2"])
df2 = spark.createDataFrame([("a", 1), ("b", 3)], ["C1", "C2"])
df1.exceptAll(df2).show()
# +---+---+
# | C1| C2|
# +---+---+
# |  a|  1|
# |  a|  1|
# |  a|  2|
# |  c|  4|
# +---+---+