我在使用递归特征消除和交叉验证(rfecv)来寻找特征的最佳准确率得分。我注意到_grid_scores是当使用第i个特征子集训练时,估计器产生的得分。是否有办法获取_grid_score中每个得分对应的特征子集的索引?我可以使用get_support获取最高得分时选中的特征的索引(5个特征子集)。
特征子集,得分
5 , 0.976251
4 , 0.9762072
3 , 0.97322212
如何获取4个或3个特征子集的索引?我检查了rfecv.ranking_的输出,5个特征的排名是1,但排名2的只有一个特征,依此类推。
回答:
3个(或4个)特征的子集(很可能)从未被选中过!
这似乎是对RFECV
工作原理的常见误解;请参见交叉验证的递归特征消除如何在每次迭代中删除特征(sklearn RFECV)?。每个交叉验证折叠(例如5个)都有一个RFE
,每个都会产生自己的3个特征集(可能不同)。不幸的是(至少在这种情况下),这些RFE
对象并未保存,因此您无法识别每个折叠选中的特征集;只保存了得分(来源 pt1, pt2)以选择最佳特征数量,然后在整个数据集上训练另一个RFE
以减少到最终的特征集。