由于我们对一些机器学习问题，如线性回归，拥有闭合形式的解。它们的复杂度较高，达到O(D^3)（D为从输入中导出的特征数量），但是使用闭合形式得出的解是否总是过拟合的呢？
- 我知道闭合形式解需要更长的计算时间，这对于特征数量较多的情况可能不可行。
- 我也明白梯度下降、随机梯度下降等方法可以生成足够接近的解，并且复杂度更低。
只是想了解，使用闭合形式解是否会有任何益处？
回答：
是的：简而言之，你已经找到了该数据集的最优解。在一个样本上使用闭合形式解，按定义来说，会对该样本过拟合。然而，请注意，如果样本是整个群体，你的解将必然是最优的。
各种“逐渐逼近”的解法（如梯度下降）专门设计用于通过启发式方法找到相同的解，其误差在你指定的任意小的范围内。这是数值分析的精髓所在。:-)
对于大多数目的，闭合形式解只有在你需要精确解以进行进一步的理论推导时才有益。在某些情况下，它在预测（仅前向传递）时也更快，因为它具有更少的权重。然而，预测通常受到I/O速度的限制，而不是模型的复杂度。
