如何找出影响特定样本（例如第5行）预测的特征及其贡献？

更新

感谢@隐藏人名

我现在可以使用TreeInterpreter了

from treeinterpreter import treeinterpreter as tiinstances = X_train.loc[[1,2]]print(rf.predict(instances))prediction, biases, contributions = ti.predict(rf, instances)for i in range(len(instances)):    print ("Instance", i)    print ("Bias (trainset mean)", biases[i])    print ("Feature contributions:")    for c, feature in sorted(zip(contributions[i],                                  rf.feature_importances_),                              key=lambda x: ~abs(x[0].any())):        print (feature, np.round(c, 2))    print ("-"*20 )print (prediction)print (biases + np.sum(contributions, axis=1))

我的问题是，为什么会出现[ 0.12 -0.12]这样的两个值，看起来是正负值，而不是该特征的一个值。以下是我的输出

回答：

是的，你可以了解影响特定观测值预测的特征及其贡献（权重这个词并不准确）。这实际上构成了该特定观测值做出决策的决策路径。你要找的是TreeInterpreter。

第二个问题是：为什么每个变量和实例总是有两个值（例如，第一个特征和第一个实例的[0.12 -0.12]），看起来是正负值，而不是该特征的一个值？

所以我的回答是：这些列表中的每一个（例如[0.12 -0.12]）仅代表一个特征对实例最终属于类别1和类别2的概率的贡献。请记住，特征从不决定实例必须属于哪个类别，而是增加或减少实例的最终类别概率。因此，0.12意味着特征1增加了实例0属于类别1的概率0.12，并减少了其属于类别2的概率0.12。这些值总是对称的，意味着任何使实例更可能属于类别1的东西都会使它更不可能属于类别2。

同样，特征2减少了实例1属于类别1的概率0.05，并增加了其属于类别2的概率0.05。

因此，每个特征对实例1属于类别1的贡献（增加或减少）为：0.12、-0.05、0.22、0.14、0.07、0.01。现在将这些全部加到属于类别1的偏差（0.49854）上，你得到1，这是模型输出显示的该实例属于类别1的最终概率。

同样，将每个列表的第二个值全部加起来，再加上属于类别2的偏差（0.50146），你得到0，这是模型输出显示的该实例属于类别2的最终概率。

最后，对实例1重复同样的练习，即将-0.03、-0.11、0.06、0、-0.06、-0.04加到偏差0.49854上，你得到0.32，这是P{instance1 = class1}。将0.03、0.11、-0.06、0、0.06、0.04加到偏差0.50146上，你得到0.68，这是P{instance1 = class2}。因此，这些数字构成了从初始偏差到实例最终分类概率的完整贡献轨迹。

我在概念层面上回答了一个非常相似的问题，详情请查看这里的讨论。