有人知道LightGBM如何将用户定义的非整数参数feature_fraction
(如0.8)转换为整数值吗?
它是使用向下取整还是向上取整的函数?
我在文档中找不到相关信息(而且我还浏览了GitHub上的源代码)。
文档中提到:
feature_fraction
,默认值 = 1.0,类型 = double,…,约束条件:0.0 < feature_fraction <= 1.0如果feature_fraction
小于1.0,LightGBM会在每次迭代(树)中随机选择一部分特征。例如,如果你设置为0.8,LightGBM会在训练每棵树之前选择80%的特征。
如果我有三个特征,那么feature_fraction = 0.5
是什么意思?每棵决策树在每次分裂时使用多少个特征?1个还是2个?
回答:
我在microsoft/LightGBM的GitHub上提出了这个问题。LightGBM会使用以下公式进行转换,比如在Python中:
total_cnt = 3 # 我有三个特征# 我希望我的决策树在每次分裂时使用50%的特征feature_fraction = 0.5 # 这是整数值:每次分裂时使用的特征数量max_features = np.floor((feature_fraction * total_cnt) + 0.5)
更多细节请查看这里。