基于KMeans的非平衡因子？，我试图计算非平衡因子，但失败了。

RDD r2_10的每个元素都是一对，其中键是聚类，值是一个点的元组。这些都是ID。下面我展示了发生的情况：

In [1]: r2_10.collect()Out[1]: [(0, ('438728517', '28138008')), (13824, ('4647699097', '6553505321')), (9216, ('2575712582', '1776542427')), (1, ('8133836578', '4073591194')), (9217, ('3112663913', '59443972', '8715330944', '56063461')), (4609, ('6812455719',)), (13825, ('5245073744', '3361024394')), (4610, ('324470279',)), (2, ('2412402108',)), (3, ('4766885931', '3800674818', '4673186647', '350804823', '73118846'))]In [2]: pdd = r2_10.map(lambda x: (x[0], 1)).reduceByKey(lambda a, b: a + b)In [3]: pdd.collect()Out[3]: [(13824, 1), (9216, 1), (0, 1), (13825, 1), (1, 1), (4609, 1), (9217, 1), (2, 1), (4610, 1), (3, 1)]In [4]: n = pdd.count()In [5]: nOut[5]: 10In [6]: total = pdd.map(lambda x: x[1]).sum() In [7]: totalOut[7]: 10

而total应该是要计算点的总数。然而，它是10…目标是22！

我在这里错过了什么？

回答：

问题是你没有计算每个聚类中点的数量，因此你需要更改pdd的创建方式。

pdd = r2_10.map(lambda x: (x[0], len(x[1]))).reduceByKey(lambda a, b: a + b)

然而，你可以通过一次性映射RDD的值，然后使用sum进行归约，来在一次传递中获得相同的结果（无需计算pdd）。

total = r2_10.map(lambda x: len(x[1])).sum()