我在使用相关性进行特征选择以训练我的机器学习（ML）模型。我使用所有特征训练了每个模型（SVM、NN、RF），并进行了10折交叉验证以获得平均准确率得分值。然后，我移除了相关系数为零的特征（这意味着特征与类别之间没有关系），并使用所有特征再次训练了每个模型（SVM、NN、RF），并进行了10折交叉验证以获得平均准确率得分值。

我的目标是基于上述两种情况中获得的准确率得分进行特征选择。但我不确定这是否是特征选择的好方法。

此外，我想进行网格搜索以识别最佳模型参数。但我在使用Scikit learn API中的GridSearchCV时感到困惑。因为它也进行交叉验证（默认3折），我能否使用在上述两种情况中进行网格搜索时获得的best_score_值来确定哪些是模型训练的好特征？

请就此困惑给我建议，或者请推荐给我一个好的参考资料阅读。

提前感谢

回答：

正如这篇论文的第51页所说，

换句话说，如果一个特征与类别相关或具有预测性，那么它是有用的；否则它是无关的。

报告接着说，不仅应该移除与目标不相关的特征，还应该注意那些彼此高度相关的特征。另见这里。

换句话说，看看特征与类别（目标）的相关性并移除几乎没有相关性的特征似乎是一个好主意。

我的目标是基于上述两种情况中获得的准确率得分进行特征选择。但我不确定这是否是特征选择的好方法。

是的，你完全可以使用不同的特征集进行实验，并查看测试准确率来选择表现最佳的特征。重要的是你只查看测试准确率，即模型在未见数据上的表现。

此外，我想进行网格搜索以识别最佳模型参数。

网格搜索用于寻找最佳的超参数。模型参数是在训练过程中学习的。

因为它也进行交叉验证（默认3折），我能否使用在上述两种情况中进行网格搜索时获得的best_score_值来确定哪些是模型训练的好特征？

如果超参数集是固定的，最佳得分值将仅受特征集的影响，因此可以用来比较特征的有效性。