我正在使用样本数据集来学习聚类。这个数据集包含了关键词出现的次数。

由于所有数据都是不同关键词出现的次数，不对这些值进行缩放，直接使用是否可以？

我在网上读了几篇文章，强调缩放很重要，因为它会调整频率的相对性。由于大多数频率为0（95%以上），z分数缩放会改变分布的形状，我觉得这可能会成为问题，因为我改变了数据的性质。

我在考虑完全不改变这些值以避免这个问题。这会影响我从聚类中得到的结果质量吗？

回答：

正如已经提到的，答案在很大程度上取决于所使用的算法。

如果你使用基于距离的算法（通常是默认的欧几里得距离），例如k-Means或k-NN，它会更加依赖于范围较大的特征，因为该特征值的“典型差异”更大。

非基于距离的模型也可能受到影响。尽管有人可能会认为线性模型不属于这一类，因为缩放（以及如果需要的平移）是一种线性变换，所以如果它能改善结果，那么模型应该能够学习到，对吗？事实证明，答案是否定的。原因是没有人使用原始的线性模型，它们总是与某种正则化一起使用，正则化会惩罚过大的权重。这可能会阻止你的线性模型从数据中学习缩放。

有一些模型不受特征缩放的影响。例如，基于树的算法（决策树和随机森林）不受影响。树的一个节点通过将一个特征（最佳分割数据集的特征）与一个阈值进行比较，将数据分成两组。对于阈值没有正则化（因为应该保持树的高度较小），所以它不受不同尺度的影響。

尽管如此，通常建议对数据进行标准化（减去均值并除以标准差）。