我有以下代码
ataset.select("Lead Owner").show(); dataset.filter(dataset.col("Lead Owner").isNotNull()); dataset.select("Lead Owner").show();
但是它并没有删除列”Lead Owner”中包含空值的行。谁能告诉我我哪里做错了?
回答:
数据集是不可变的。 dataset.filter
是一个转换操作,它会返回一个新的数据集,而不是修改原始数据集。请参考 DataSet文档
val filteredData = dataset.filter(dataset.col("Lead Owner").isNotNull());filteredData.select("Lead Owner").show();