看起来每个树的对应叶节点值之和并不等于预测结果。以下是一个示例代码:
X = pd.DataFrame({'x': np.linspace(-10, 10, 10)})y = X['x'] * 2model = xgb.XGBRegressor(booster='gbtree', tree_method='exact', n_estimators=100, max_depth=1).fit(X, y)Xtest = pd.DataFrame({'x': np.linspace(-20, 20, 101)})Ytest = model.predict(Xtest)plt.plot(X['x'], y, 'b.-')plt.plot(Xtest['x'], Ytest, 'r.')
树的导出信息如下:
model.get_booster().get_dump()[:2]['0:[x<0] yes=1,no=2,missing=1\n\t1:leaf=-2.90277791\n\t2:leaf=2.65277767\n', '0:[x<2.22222233] yes=1,no=2,missing=1\n\t1:leaf=-1.90595233\n\t2:leaf=2.44333339\n']如果我只使用一棵树进行预测:
Ytest2 = model.predict(Xtest, ntree_limit=1)plt.plot(XX1['x'], Ytest2, '.')np.unique(Ytest2) # array([-2.4028, 3.1528], dtype=float32)
显然，Ytest2的唯一值与第一棵树的叶节点值-2.90277791和2.65277767不对应，尽管观察到的分割点正好在0.
- 叶节点值与预测结果是如何关联的?
- 为什么第一棵树的叶节点值不对称，尽管输入是对称的?
回答：
在拟合第一棵树之前，XGBoost会进行一个初始预测。这个初始预测由参数base_score控制，默认为0.5。实际上，-2.902777 + 0.5 ~=-2.4028和2.652777 + 0.5 ~= 3.1528是相符的。
这也解释了您的第二个问题: 这些从初始预测中得出的差异是不对称的。如果您将learning_rate设置为1，可能在一轮之后就能得到对称的预测，或者您可以直接将base_score设置为0。
