假设我有一个嘈杂的二维数据集，一个观察数据的人很容易就能在数据中画出一条直线，使均方误差最小化。

这条线的模型形式为 y = mx + b，其中 x 是输入值，y 是模型的预测值，m 和 b 是经过训练以最小化成本的变量。

我的问题是，如果我们将某个输入 x1 代入模型，它总是会输出相同的值，而不考虑数据的稀疏程度。这样的模型如何能从相同的输入预测出不同的值呢？

也许可以通过计算模型线到各点的误差，制作它们的分布，计算该分布的期望值，然后将该值添加到 y 上来实现这一点？

回答：

如果数据是二维的，并且可以完美地用一条直线建模，那么从数据和统计的角度来看，没有理由不认为这个过程是完全确定的，你应该输出一个值。

然而，如果你有更多维度，或者你的拟合不是完美的（误差被最小化但不为0），那么你要做的就是预测值的分布，或者至少是置信区间。有许多概率模型可以模拟输出的分布，而不仅仅是一个单一的值。特别是线性回归可以做到这一点，它假设你的预测周围有一个高斯误差，因此一旦你获得均方误差“A”，你就可以从 N(mx+b, A) 中进行预测 – 正如你可以轻松看到的，当 A=0 时，这会退化为确定性模型。这些预测在期望值上是最优的，它们只是你根据模型“模拟观测”的方式。还有元方法，如果你将你的预测器视为一个黑盒 – 你可以在数据的子集上训练多个模型，并将它们的预测视为样本来拟合一个分布（为了简单起见，它可以是一个单一的高斯分布）。