我想在Spark中使用KMeans聚类时，通过Silhouette来确定最佳的k值。有没有最优的方法来并行化这个过程？也就是说，使其可扩展

回答：

没有，Silhouette根据定义是不可扩展的。

它使用成对距离，这将始终需要O(n^2)的时间来计算。

你需要使用其他方法。在大数据上使用Silhouette是荒谬的，计算评估指标的时间远比运行实际的k-means聚类算法要长得多。

或者重新考虑你在做什么。例如，使用Silhouette是否有意义。你也可以决定在单个节点上运行比Spark更快的东西，在那里计算Silhouette，然后仅通过k来并行化，而无需分布式计算的所有开销。Spark可能胜过MapReduce-Mahout，但它会输给一个好的非分布式实现。