我正在使用sk-learn的Python 2.7版本，并输出了决策树的特征结果。然而，我不确定如何解释这些结果。起初，我以为特征是从最有信息量的到最不重要的排列（从上到下），但在检查\nvalue后发现并非如此。我如何从输出中或使用Python代码找出前5个最有信息量的特征？
from sklearn import treetree.export_graphviz(classifierUsed2, feature_names=dv.get_feature_names(), out_file=treeFileName) # 输出如下digraph Tree {node [shape=box] ;0 [label="avg-length <= 3.5\ngini = 0.0063\nsamples = 250000\nvalue = [249210, 790]"] ;1 [label="name-entity <= 2.5\ngini = 0.5\nsamples = 678\nvalue = [338, 340]"] ;0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;2 [label="first-name=wm <= 0.5\ngini = 0.4537\nsamples = 483\nvalue = [168, 315]"] ;1 -> 2 ;3 [label="name-entity <= 1.5\ngini = 0.4016\nsamples = 435\nvalue = [121, 314]"] ;2 -> 3 ;4 [label="substring=ee <= 0.5\ngini = 0.4414\nsamples = 73\nvalue = [49, 24]"] ;3 -> 4 ;5 [label="substring=oy <= 0.5\ngini = 0.4027\nsamples = 68\nvalue = [49, 19]"] ;4 -> 5 ;6 [label="substring=im <= 0.5\ngini = 0.3589\nsamples = 64\nvalue = [49, 15]"] ;5 -> 6 ;7 [label="lastLetter-firstName=w <= 0.5\ngini = 0.316\nsamples = 61\nvalue = [49, 12]"] ;6 -> 7 ;8 [label="firstLetter-firstName=w <= 0.5\ngini = 0.2815\nsamples = 59\nvalue = [49, 10]"] ;7 -> 8 ;9 [label="substring=sa <= 0.5\ngini = 0.2221\nsamples = 55\nvalue = [48, 7]"] ;... 下面还有很多行回答：
-
在Python中，你可以使用
DecisionTreeClassifier.feature_importances_，根据文档，它包含特征的重要性。数值越高，特征越重要。特征的重要性被计算为该特征带来的标准总减少量（已归一化）。它也被称为Gini重要性 [R66]。
只需对特征重要性进行
np.argsort排序，你就能得到特征排名（未考虑平局情况）。 -
你可以查看Gini不纯度（图形输出中的
\ngini）来获得初步的想法。数值越低越好。然而，请注意，如果一个特征在多个分支中使用，你需要一种方法来结合不纯度值。通常，这是通过计算给定特征的所有分支上的平均信息增益（或‘纯度增益’）来完成的。如果你使用feature_importances_，这将为你完成。
编辑：我发现问题比我想象的要深。graphviz只是树的图形表示。它详细展示了树及其每一个分支。这只是树的表示，而不是特征的表示。特征的有信息性（或重要性）并不真正适合这种表示，因为它在树的多个节点上累积信息。
变量classifierUsed2.feature_importances_包含每个特征的重要性信息。例如，如果你得到[0, 0.2, 0, 0.1, …]，那么第一个特征的重要性为0，第二个特征的重要性为0.2，第三个特征的重要性为0，第四个特征的重要性为0.1，依此类推。
让我们按重要性对特征进行排序（最重要的排在前面）：
rank = np.argsort(classifierUsed2.feature_importances_)[::-1]现在rank包含特征的索引，从最重要的开始：[1, 3, 0, 1, …]
想看看前五个最重要的特征吗？
print(rank[:5])这会打印出索引。哪个索引对应哪个特征？你应该自己知道，因为你应该已经构建了特征矩阵。可能这样可以工作：
print(dv.get_feature_names()[rank[:5]])或者可能是这样：
print('\n'.join(dv.get_feature_names()[i] for i in rank[:5]))