如标题所述，当我尝试使用kmeans.fit()时出现了内存错误。

我使用的数据集大小为：

print(np.size(np_list)): 1248680000print(np_list.shape): (31217, 40000)

导致内存错误的代码如下：

with open('np_array.pickle', 'rb') as handle:    np_list = pickle.load(handle)kmeans = KMeans(n_clusters=5)kmeans.fit(np_list)centroids = kmeans.cluster_centers_labels = kmeans.labels_print(centroids)print(labels)

我正在处理一个包含32,000张黑白图像的数据集，每张图像原本是200×200的尺寸。我将200×200的尺寸转换为一维的40,000，按照行主序排列。

错误追踪描述：

Traceback (most recent call last):  File "C:/Project/ML_Clustering.py", line 54, in <module>    kmeans.fit(np_list)  File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 896, in fit    return_n_iter=True)  File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 283, in k_means    X = as_float_array(X, copy=copy_x)  File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\utils\validation.py", line 88, in as_float_array    return X.copy('F' if X.flags['F_CONTIGUOUS'] else 'C') if copy else XMemoryError

回答：

KMeans聚类方法的经典实现基于Lloyd's算法。它在每次迭代中消耗整个输入数据集。你可以尝试使用sklearn.cluster.MiniBatchKMeans，它使用小批量数据增量更新中心位置。对于大规模学习（例如n_samples > 10k），MiniBatchKMeans可能比默认的批处理实现快得多。

from sklearn.cluster import MiniBatchKMeanswith open('np_array.pickle', 'rb') as handle:     np_list = pickle.load(handle)mbk = MiniBatchKMeans(init ='k-means++', n_clusters = 5,                       batch_size = 200,                       max_no_improvement = 10, verbose = 0) mbk.fit(np_list)

了解更多关于MiniBatchKMeans的信息，请访问这里。