我有一个大型数据集（207989, 23），目前我正尝试对其中一列应用层次聚类，以测试它是否适合我手头的任务。

我已经尝试过以下方法：

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn import preprocessingdata = pd.read_csv('gpmd.csv', header = 0)X = data.loc[:, ['ContextID', 'BacksGas_Flow_sccm']]min_max_scaler = preprocessing.MinMaxScaler()X_minmax = min_max_scaler.fit_transform(X.values[:,[1]])import scipy.cluster.hierarchy as schdendrogram = sch.dendrogram(sch.linkage(X_minmax, method = 'ward'))

在执行上述代码后，我得到了以下错误：

dendrogram = sch.dendrogram(sch.linkage(X_minmax, method = 'ward'))Traceback (most recent call last):  File "<ipython-input-4-429f42b68112>", line 1, in <module>    dendrogram = sch.dendrogram(sch.linkage(X_minmax, method = 'ward'))  File "C:\Users\kashy\Anaconda3\envs\py36\lib\site-packages\scipy\cluster\hierarchy.py", line 708, in linkage    y = distance.pdist(y, metric)  File "C:\Users\kashy\Anaconda3\envs\py36\lib\site-packages\scipy\spatial\distance.py", line 1877, in pdist    dm = np.empty((m * (m - 1)) // 2, dtype=np.double)MemoryError

能有人解释一下这里到底是什么问题吗？

提前感谢

回答：

大多数变体的层次聚类需要O(n²)的内存。

因此，大多数实现会在达到65535个实例时失败，因为它们达到了32位的标记（有些可能在32k时就已经失败）。但只要做一下计算：n * n * 8字节用于双精度：你需要多少内存？