使用k-means算法对100,000个L2归一化的2048维特征向量进行聚类，设定200个聚类中心，大约需要多长时间？我所有的数据都存储在一个巨大的numpy数组中，是否有更合适的数据结构？

一个小时过去了，似乎没有任何进展。我还倾向于使用阈值停止标准，但仅仅两轮迭代就需要超过5分钟的时间。有没有某种详细输出命令可以用来检查scikit-learn中kmeans聚类的进度？有没有人建议其他方法？也许可以考虑降维，或者先进行PCA然后再使用kmeans？（我只是在抛出一些随机的想法）

回答：

如果你还没有尝试过，建议使用sklearn.cluster.MiniBatchKMeans来替代sklearn.cluster.KMeans

例如，如果X.shape = (100000, 2048)，那么你可以这样写

from sklearn.cluster import MiniBatchKMeans
mbkm = MiniBatchKMeans(n_clusters=200)  # 仔细查看文档字符串并在这里设置选项
mbkm.fit(X)

MiniBatchKMeans找到的聚类与普通的KMeans略有不同，但它的巨大优势在于它是一种在线算法，不需要在每次迭代中使用所有数据，并且仍然能提供有用的结果。