如果我有一个特征是卡路里，另一个特征是人数，为什么添加每人卡路里或卡路里/10这样的特征会帮助提高测试效果？我不明白对两个特征进行简单的算术运算如何能获得更多信息。

谢谢

回答：

假设你使用的是在特征空间中是线性（或对数线性）的分类器/回归机制。如果你的实例 x 具有特征 x_i，那么线性意味着得分是这样的形式：

y_i = \sum_i x_i * w_i

现在假设你认为特征之间存在一些重要的相互作用——也许你认为 x_i 只有在 x_j 取相近的值时才重要，或者它们的总和比各自的值更重要，或者其他情况。一种纳入这种信息的方法是让算法显式地建模交叉乘积，例如：

y_i = [ \sum_i x_i * w_i ] + [\sum_i,j x_i * x_j * w_ij]

然而，线性算法无处不在且易于使用，因此将类似交互的项纳入到标准的线性分类器/回归机制中的一种方法是扩展特征空间，对于每一对 x_i, x_j，你可以创建形式为 [x_i * x_j] 或 [x_i / x_j] 或其他形式的特征。现在你可以在不需要使用非线性算法的情况下建模特征之间的交互作用。