假设我有一个数据文件，如下所示：
索引,购买日期,列1,列2
0,2013-01-16,34,Jack
1,2013-01-12,43,Molly
2,2013-01-21,21,Adam
3,2014-01-09,54,Peirce
4,2014-01-17,38,Goldberg
5,2015-01-05,72,Chandler
..
..
2000000,2015-01-27,32,Mike
还有更多的数据，并且我有一个目标变量y。假设一些方便的条件即可。
现在我知道我们将数据分为两部分，即训练集和测试集。然后我们将训练集按70:30的比例分割，用70%的数据构建模型，并用30%的数据进行验证。我们调整参数以防止模型过拟合。然后用测试数据进行预测。例如：我将2000000条数据分为两等份。1000000条作为训练集，我再将其按30%的比例，即300000条数据用于验证，70%即700000条数据用于构建模型。
问题：上述逻辑是否取决于原始数据的分割方式？
通常我们会打乱数据，然后将其分为训练集、验证集和测试集。（训练集 + 验证集 = 训练数据）。（请不要在这里混淆）但如果分割方式是交替的呢？比如，当我首先将数据分为训练集和测试集时，我将偶数行分配给测试集，奇数行分配给训练集。（这里数据最初是根据‘购买日期’列排序的，所以当我按奇偶行分割时，它会均匀分割。）
当我用训练集构建模型时，我过拟合它以便在测试数据上获得最大AUC值。
问题：在这种情况下，过拟合不是有帮助的吗？
回答：
问题：上述逻辑是否取决于原始数据的分割方式？
如果数据集很大（数十万条），你可以随机分割数据，不会有什么问题，但如果数据集较小，你可以采用不同的方法，如交叉验证来生成数据集。交叉验证表明，你可以从训练集中创建n个训练-验证集。
假设你有2000个数据点，你可以这样分割：
1000 – 训练数据集
1000 – 测试数据集。
5折交叉验证意味着你将创建五个800/200的训练/验证数据集。
问题：在这种情况下，过拟合不是有帮助的吗？
机器学习的第一条规则是，你不应该触碰测试数据集。它是一个神圣的数据集，不应该被触碰。如果你过拟合测试数据以获得最高的AUC分数，那么验证数据集就没有任何意义了。任何机器学习算法的首要目标是减少泛化误差，即算法应该能够在未见过的数据上表现良好。如果你用测试数据调整算法，你将无法满足这一标准。在交叉验证中，你也不应该触碰测试集。你选择你的算法，用验证数据集调整其参数，完成后将算法应用于测试数据集，这才是你的最终得分。
