我的问题是，我应该先对整个数据集进行selectkbest sklearn函数的特征选择，然后再将数据集划分为训练集和测试集，还是应该在数据集被划分后分别对训练集和测试集进行selectkbest？在第二种情况下，是否有可能测试集选择的k个特征与用于训练的特征不同？我对机器学习非常新手，最近才刚学了一点关于特征选择的知识。

我使用了单变量特征选择的例子来学习selectkbest – http://scikit-learn.org/stable/modules/feature_selection.html 作为示例

回答：

从技术上讲，你应该在训练集上拟合selectKbest，然后用拟合好的选择器来‘转换’测试集。这是因为在训练过程的任何部分都不应该使用测试数据。

想象一下，在后期将模型应用于新数据。在这种情况下，你将不得不使用在训练数据上训练的selectKbest模型来‘转换’这些数据。因此，这是获得更准确性能估计的正确程序。

如果你实施了一些交叉验证方案，你应该为每个CV折叠重复此过程，以便正确估计分类器（或回归器）的性能。