我有一组数值特征，用于描述不同时间点上的现象。为了评估每个特征的个体表现，我使用了带有留一法验证的线性回归，并计算了相关性和误差来评估结果。
因此，对于单个特征，操作大致如下：
- 输入：特征 F = {F_t1, F_t2, … F_tn}
- 输入：现象 P = {P_t1, P_t2, … P_tn}
- 根据 F 对 P 进行线性回归，并使用留一法验证。
- 评估：计算相关性（线性和斯皮尔曼相关性）以及误差（平均绝对误差和均方根误差）
对于某些变量，两种相关性都非常好（> 0.9），但当我查看预测结果时，我发现预测值都非常接近要预测值的平均值，因此误差很大。
这是怎么可能的？
有没有办法解决这个问题？
在技术细节上，我使用了 weka 线性回归，并使用了 “-S 1” 选项以避免特征选择。
回答：
似乎是因为我们要回归的问题不是线性的，而我们使用的是线性方法。因此，可能出现相关性好但误差大的情况。这并不意味着回归结果是错误的或非常差的，但你需要非常小心并进一步调查。
无论如何，采用最小化误差并最大化相关性的非线性方法是更好的选择。
此外，异常值也会导致这种问题发生。
