我有一个总共有四个标签的不平衡数据集，其中两个标签的出现频率远高于另外两个。我有近一百万个观察数据。
我试图通过使用sklearn.cluster.kmeans聚类来更好地理解数据成分。
这是我的数据：
print(X)[[68. 0. 0. ... 0. 0. 0.] [18. 1. 1. ... 1. 0. 0.] [18. 1. 1. ... 0. 0. 0.] ... [59. 0. 0. ... 0. 0. 0.] [48. 1. 0. ... 0. 0. 1.] [47. 1. 1. ... 0. 0. 0.]]print(y)[1 2 3 ... 3 2 3]观察到的标签有四个级别（序数变量0 – 3）。
这是我的代码：
scaler = StandardScaler()scaler.fit(X)X_scaled = scaler.transform(X)algo1 = KMeans(n_clusters = 4)y_pred = algo1.fit_predict(X_scaled)mglearn.discrete_scatter(X_scaled[:, 0], X_scaled[:,1], y_pred)plt.legend(["cluster 0", "cluster 1", "cluster 2", "cluster 3"], loc = 'best')plt.xlabel("Feature 0")plt.ylabel("Feature 1")
这看起来很奇怪，所以我尝试了3个聚类。
algo2 = KMeans(n_clusters = 3)y_pred2 = algo2.fit_predict(X_scaled)mglearn.discrete_scatter(X_scaled[:, 0], X_scaled[:,1], y_pred2)plt.legend(["cluster 0", "cluster 1", "cluster 2"], loc = 'best')plt.xlabel("Feature 0")plt.ylabel("Feature 1")
然后是2个聚类
algo3 = KMeans(n_clusters = 2)y_pred3 = algo3.fit_predict(X_scaled)mglearn.discrete_scatter(X_scaled[:, 0], X_scaled[:,1], y_pred3)plt.legend(["cluster 0", "cluster 1", "cluster 2"], loc = 'best')plt.xlabel("Feature 0")plt.ylabel("Feature 1")
我试图弄清楚聚类到底发生了什么。是否有其他方法可以更好地理解数据结构？
回答：
你没有提到你有多少个特征，但从外观上看，X显然不止两个变量。在你的代码中，你只用两个特征来可视化聚类，而algo1使用了更多的变量。
特别是，你用Feature 1来可视化聚类，它看起来是二元的（只取值-1和1），所以聚类并不是不成功；你只是在非常有限的特征下可视化聚类。
通过二维绘图，你只能看到两个变量的聚类关系，因此你可能会错过一些只有在三维或更高维度下才可见的关系。如果你希望继续这样做，我建议你将Feature 1与所有其他特征进行绘制，然后是Feature 2与所有其他特征，以此类推。这样，你可以可视化所有大小为二的组合下的聚类，这或许能帮助你理解某些特征对及其所属聚类之间的关系。
还要记住，KMeans是一种无监督算法，因此聚类不一定与y中的标签相关。结果仅表示每个聚类中的观察数据在距离质心方面彼此相似。
