正如标题中提到的，我使用sklearn中的SelectFromModel来为我的随机森林和梯度提升分类模型选择特征。

#feature selection performed on training dataset to prevent overfittingsel = SelectFromModel(GradientBoostingClassifier(n_estimators=10, learning_rate=0.25,max_depth=1, max_features = 15, random_state=0).fit(X_train_bin, y_train))sel.fit(X_train_bin, y_train)#returns a boolean array to indicate which features are of importance (above the mean threshold)sel.get_support()#shows the names of the selected featuresselected_feat= X_train_bin.columns[(sel.get_support())]selected_feat

随机森林和梯度提升模型返回的布尔数组完全不同。随机森林的特征选择告诉我要删除额外的4列（总共25个特征），而梯度提升模型的特征选择告诉我几乎要删除所有内容。这到底是怎么回事？

编辑：我想比较这两个模型在我数据集上的表现。我应该调整阈值，以便至少有大致相同数量的特征进行训练吗？

回答：

它们没有理由选择相同的变量。GradientBoostingClassifier构建每一棵树以改进前一步的错误，而RandomForestClassifier训练独立的树，这些树与彼此的错误无关。

它们可能选择不同特征的另一个原因是criterion，对于随机森林是熵，对于梯度提升是Friedman MSE。最后，可能是因为这两个算法在每次分裂时选择特征的随机子集。因此，它们没有以相同的顺序比较相同的变量，这自然会产生不同的重要性。