我有一组数据存储在一个.tsv文件中，可以在这里获取。我已经编写了几个分类器来判断给定的网站是短暂的还是常青的。

现在，我想让它们变得更好。我从与人交谈中得知我的分类器在“过拟合”数据；我正在寻找一种可靠的方法来证明这一点，以便下次我编写分类器时，我可以运行一个测试，看看我是过拟合还是欠拟合。

这样做的最佳方法是什么？我欢迎所有建议！

我已经花了好几周的时间在谷歌上搜索这个话题，但没有找到任何规范或可信的方法来有效地做到这一点，所以任何回应都将受到欢迎。我将为这个问题设立奖金。

编辑：

假设我的分类器输出一个包含以下内容的.tsv文件：

网站UID<tab>网站是短暂还是常青的可能性，0表示短暂，1表示常青<tab>页面是短暂还是常青

回答：

人们尝试处理过拟合的方法有很多种：

• 交叉验证，你可能还会看到它被称为x验证
  • 请参阅lejlot的帖子了解详情
• 选择一个更简单的模型
  • 线性分类器由于模型必须是线性的而具有高偏差，但由于高偏差，优化解的方差较低。这意味着在给定大量随机训练样本的情况下，你不会期望看到最终模型有太大的差异。
• 正则化是常见的对抗过拟合的做法。
  • 通常通过在最小化函数中添加一个项来实现
  • 通常这个项是模型权重的平方和，因为它易于区分
  • 通常与正则化项相关联的有一个常数C。调整这个常数会增加/减少正则化的效果。应用于正则化的高权重通常有助于解决过拟合问题。C应该始终大于或等于零。（注意：一些训练包将1/C作为正则化权重。在这种情况下，C越接近零，应用于正则化的权重就越大）
  • 不管具体细节如何，正则化通过减少模型的方差来偏向低正则化权重的解决方案，从而起作用。
• 最后，提升是一种训练方法，它神奇地不会过拟合。不知道是否有人发现了原因，但它是一个将高偏差低方差的简单学习器组合成高方差低偏差模型的过程。这非常巧妙。