我今天读到这句话:每一个回归模型都会随着增加更多的特征或变量而变得更好…但是,增加更多的特征也会增加模型的复杂性,并降低模型的可解释性。我无法理解什么是可解释性?(我在谷歌上搜索过,但还是没有弄明白)
请帮助我,谢谢
回答:
我认为,在回归问题中,可解释性是指你能够向非统计学家或领域专家解释你的模型结果。
例如:你试图根据许多变量,包括性别,来预测人的体型。如果你使用线性回归,你将能够说,如果一个人是男性(与女性相比),模型将在预测的体型上增加20厘米(同样,仅为举例)。领域专家将能够理解解释变量与预测结果之间的关系,而无需理解统计学或线性回归的工作原理。
此外,我不同意增加更多的特征或变量总是能改善回归结果这一观点。
- 什么是更好的回归?是选择的指标有所改善吗?是针对训练集还是测试集?“更好的回归”这个说法没有任何意义…
- 如果我们假设更好的回归是指对于新的数据集预测目标更准确的回归,那么更多的变量并不总是能提高预测能力,尤其是在没有正则化的情况下,如果增加的特征包含未来变量或其他许多情况。