我在Jupyter笔记本中尝试了以下聚合聚类。我的数据集的形状是(406829, 8)。
我尝试了以下代码:
import pandas as pdimport numpy as npimport matplotlibfrom matplotlib import pyplot as pltimport osfrom sklearn.preprocessing import StandardScaler, LabelEncoderimport scipy.cluster.hierarchy as shcfrom sklearn.cluster import AgglomerativeClustering# 使用ward链接法应用聚合聚类aggloclust = AgglomerativeClustering(affinity='euclidean',linkage='ward', memory=None, n_clusters=5).fit(data)print(aggloclust)# 聚合聚类的标签labels = aggloclust.labels_# 在图上显示聚类plt.scatter(x[:,0], x[:,1], c=labels)plt.show()然后我遇到了一个错误 – MemoryError: 无法为形状为(82754714206,)且数据类型为float64的数组分配617 GiB的内存
我使用的是16GB内存的Windows机器。Python版本 – 3.8.5 谁能告诉我如何解决这个问题？
我尝试在谷歌上搜索这个错误，并找到了解决方案 – 创建Jupyter配置文件，然后在该文件中更新max_buffer_size。我在这里找到了这个解决方案 – 如何增加Jupyter笔记本的内存限制？
我尝试了上述链接中提供的解决方案，但它不起作用。请帮助我。
回答：
聚合聚类的内存消耗是O(n²)，这意味着它相对于数据大小呈指数增长。使用single链接法，可以将计算从O(n³)加速到O(n²)，但不幸的是这不适用于内存[1]。单一聚类还存在“富者愈富”的行为倾向，即聚类往往只有几个大的，而其他接近于零大小的聚类[2]。因此，至少在scipy或scikit中，微调的选项并不理想。
另一种选择是在拟合模型时（即进行训练）使用较少的输入数据。对于数据框，你可以使用方法（假设data对象是一个数据框）:
data.sample(frac = 0.5) 这将指数级地缩小内存使用量。不要一开始就使用大量数据。来自[3]的引用:
我在0.02%的数据上运行了算法，我得到了结果，但当我需要标记所有记录时问题就出现了。
来源:
