最近我有一个机器学习(ML)项目,需要识别对目标/输出有重大影响的特征(输入,a1, a2, a3 … an)。
我使用了线性回归来获取特征的系数,并使用决策树算法(例如随机森林回归器)来获取重要特征(或特征重要性)。
我的理解是否正确,即在线性回归中具有较大系数的特征应该在决策树算法的特征重要性排行榜的前列?
回答:
并不完全是这样,如果你的输入特征未经归一化,你可能会得到一个相对较大的系数,因为某些特征的均值/标准差较大。如果你的特征已经归一化,那么这确实可以作为特征重要性的一个指标,但仍有其他因素需要考虑。
你可以尝试使用sklearn的一些特征选择类,这些类可以自动为你完成这个任务,在这里查看。