我正在处理一个大小为(500, 33)的数据集。
特别是,该数据集包含9个特征,例如
[X_High, X_medium, X_low, Y_High, Y_medium, Y_low, Z_High, Z_medium, Z_low]
通过视觉观察和计算相关矩阵后,我发现
[X_High, Y_High, Z_High]、[X_medium, Y_medium, Z_medium] 和 [X_low, Y_low, Z_low] 具有高度相关性(超过85%)。
我想执行聚类算法(例如K-means、GMM或DBSCAN)。
在这种情况下,
是否有必要在无监督学习中移除相关特征?移除相关性或修改特征是否会产生影响?
回答:
我的假设是你问这个问题是因为在线性建模的情况下,高度共线的变量会引起问题。
简短的回答是,不需要因为共线性问题而从聚类中移除高度相关的变量。聚类不依赖于线性假设,因此共线性不会引起问题。
这并不意味着使用大量高度相关的变量是一件好事。你的特征可能过于冗余,你可能使用了比达到相同模式所需更多的数据。考虑到你的数据大小和特征集,这可能不是问题,但对于大数据,你可以通过PCA/降维利用相关变量来减少计算开销。