在我的数据集中，某些字符串列包含None或NA值，我想统计这些空值的数量，以便根据统计结果决定如何处理缺失值。

我尝试了一种效率不高的过滤方法，即对每个列使用或表达式进行过滤。我希望找到一种更高效和简洁的方法来过滤这些值。最好不要将数据转换为RDD，但如果必须使用RDD来实现这种过滤方式也是可以接受的。

我找到了这个讨论 Spark SQL filter multiple fields，与我的问题相似，但由于我有很多列，我希望找到一种更简洁和优雅的方式来编写代码。

// trainDataFull是我的数据框架val nullValues = Array("NA", "None")val filtered = trainDataFull.filter(trainDataFull("Alley").isin(nullValues:_*) ||      trainDataFull("MSZoning").isin(nullValues:_*) ||      trainDataFull("Street").isin(nullValues:_*) ||      trainDataFull("LotShape").isin(nullValues:_*) ||      trainDataFull("LandContour").isin(nullValues:_*) ||      trainDataFull("Utilities").isin(nullValues:_*) ||      trainDataFull("LotConfig").isin(nullValues:_*) ||      trainDataFull("LandSlope").isin(nullValues:_*) ||      trainDataFull("Neighborhood").isin(nullValues:_*) ||      trainDataFull("Condition1").isin(nullValues:_*) ||      trainDataFull("Condition2").isin(nullValues:_*) ||      trainDataFull("BldgType").isin(nullValues:_*) ||      trainDataFull("HouseStyle").isin(nullValues:_*) ||      trainDataFull("RoofStyle").isin(nullValues:_*) ||      trainDataFull("RoofMatl").isin(nullValues:_*) ||      trainDataFull("Exterior1st").isin(nullValues:_*) ||      trainDataFull("Exterior2nd").isin(nullValues:_*) ||      trainDataFull("MasVnrType").isin(nullValues:_*) ||      trainDataFull("MasVnrArea").isin(nullValues:_*) ||      trainDataFull("ExterQual").isin(nullValues:_*) ||      trainDataFull("MasVnrArea").isin(nullValues:_*) ||      trainDataFull("ExterQual").isin(nullValues:_*) ||      trainDataFull("ExterCond").isin(nullValues:_*) ||      trainDataFull("Foundation").isin(nullValues:_*) ||      trainDataFull("BsmtQual").isin(nullValues:_*) ||      trainDataFull("BsmtCond").isin(nullValues:_*) ||      trainDataFull("BsmtExposure").isin(nullValues:_*)    )

我想查看每个列中包含多少个空值。

回答：

您可以始终以编程方式生成查询

val nullValues = Array("NA", "None")val df = Seq(("NA", "Foo"), ("None", "NA")).toDF("MSZoning", "Street")val columns = df.schema.collect {  case StructField(name, StringType, _, _) =>    sum(when(col(name).isInCollection(nullValues), 1)).as(name)}df.select(columns:_*).show()

输出：

+--------+------+|MSZoning|Street|+--------+------+|       2|     1|+--------+------+