这更像是一个理论问题。我正在使用scikit-learn包来执行一些自然语言处理任务。Sklearn提供了许多方法来进行特征选择和模型参数设置。我想知道我应该先做什么。

如果我使用单变量特征选择，很明显我应该先进行特征选择，然后使用选定的特征来调整估计器的参数。

但是，如果我想使用递归特征消除呢？我应该先使用网格搜索来设置所有原始特征的参数，然后再进行特征选择吗？还是应该先选择特征（使用估计器的默认参数），然后再使用选定的特征来设置参数？

编辑

我遇到了这里提到的几乎相同的问题。当时还没有解决方案。现在有人知道是否有解决方案了吗？

回答：

个人认为递归特征消除在大多数情况下过于复杂且成本过高。如果你想对线性模型进行特征选择，可以使用单变量特征选择，例如使用卡方检验或L1或L1 + L2正则化模型，并使用网格搜索来调整正则化参数（在sklearn模型中通常命名为C或alpha）。

对于具有大量样本的高度非线性问题，你应该尝试RandomForestClassifier、ExtraTreesClassifier或GBRT模型，并使用网格搜索选择参数（可能使用OOB分数估计），然后使用compute_importances开关来查找按重要性排名的特征，并使用这些特征进行特征选择。

对于具有少量样本的高度非线性问题，我认为没有解决方案。你一定是在做神经科学研究吧 🙂