我知道特征选择可以帮助我去除可能贡献较低的特征。我知道PCA可以将可能相关的特征合并为一个，从而减少维度。我知道归一化可以将特征转换到相同的尺度上。
但是，这三个步骤是否有推荐的执行顺序呢？从逻辑上讲，我认为应该首先通过特征选择来剔除不良特征，然后对它们进行归一化，最后使用PCA来减少维度，并使特征尽可能相互独立。
这种逻辑正确吗？
附加问题 – 在将特征输入到估计器之前，是否还有其他需要做的预处理或转换工作？
回答：
如果我在做某种分类器，我个人会使用以下顺序
- 归一化
- PCA
- 特征选择
归一化：你应该首先进行归一化，将数据调整到合理的范围内。如果你有数据(x,y)，其中x的范围是从-1000到+1000，而y的范围是从-1到+1，你会发现任何距离度量都会自动认为y的变化不如X的变化显著。我们还不知道是否真的是这样。所以我们需要归一化我们的数据。
PCA：使用数据的特征值分解来找到描述数据点方差的正交基。如果你有4个特征，PCA可以显示只有2个特征真正区分了数据点，这就引出了最后一步
特征选择：一旦你有了更好地描述数据的坐标空间，你就可以选择哪些特征是显著的。通常，你会使用PCA中最大的特征值(EVs)及其对应的特征向量来表示。由于较大的EVs意味着该数据方向上有更多的方差，你可以更精细地隔离特征。这是减少问题维数的一个好方法。
当然，这可能会因问题而异，但这只是一个通用的指南。
