在预测之后，feature_importances_（特别是GradientBoostingClassifier的，但其他方法中也可能存在）保存了特征的重要性。根据文档，数值越高，特征的重要性就越大。

你知道返回的数字代表什么吗？

我得到的值从0.02到10^-6或0不等。

如果一个特征的重要性为0.02，那么它的重要性占所有特征的2%，但这与预测准确性或预测相关性有什么关系呢？我能否解释这个数字，并理解移除该特征会如何影响预测？

回答：

sklearn集成和树模块的主要作者Gilles Louppe，对这个问题给出了一个很好的回答，在这里可以看到。

有不同的方法来量化决策树中的一个节点如何帮助将传入的数据集划分为块，这些块的输出类别在分割后比之前更具预测性。其中一种度量方法是基尼重要性，它是数据集在节点处分割后输出类别不纯度减少的度量。这个度量，根据使用该特征实际分割的数据集行数进行加权，并在集成中的所有决策树上进行平均，决定了sklearn中的feature_importance_。