在线性回归或逻辑回归中，如果我们找到一个假设函数完美地拟合了训练集，那么这似乎是一件好事，因为在这种情况下，我们已经利用了100%的给定信息来预测新信息。
然而，这种情况被称为过拟合，并且被认为是坏事。
通过简化假设函数，我们实际上可能是在增加噪声而不是减少噪声。
为什么会这样呢？
回答：
当你过于努力地试图使训练集中的例子符合分类规则时，就会发生过拟合。
过拟合被认为是坏事，主要有两个原因：
- 数据中可能存在噪声。过于努力地正确分类100%的例子，会使噪声产生影响，从而得到一个不好的规则，而忽略这些噪声通常会更好。
- 请记住，分类后的训练集只是真实数据的一个样本。如果你能容忍一些错误分类的样本，通常会得到更简单的解决方案。根据奥卡姆剃刀原则，你应该偏好更简单的解决方案，因此忽略一些样本会更好，
示例：
根据奥卡姆剃刀原则，你应该容忍错误分类的样本，并假设它是噪声或不重要的，并在该数据集中采用简单的解决方案（绿色线条）：
