我在研究中构建了一个用于3D图像分类的卷积神经网络模型。我只有5000张图像，其中4500张用于训练，500张用于测试集。我尝试了不同的架构和参数进行训练，训练集上的F1分数和准确率高达0.9。幸运的是，我没有花费太多时间就找到了这些高准确率的设置。
现在我将这个模型应用于测试集，获得了F1分数为0.8~0.85的相当满意的预测结果。
我的问题是，是否有必要进行验证？当初我在学习机器学习课程时，被教导要使用验证集来调整超参数。我没有进行k折交叉验证的一个原因是我数据不多，想尽可能多地使用训练数据。而且我的模型在测试集上的预测结果相当好。只要准确率/F1分数/ROC足够好，我的模型还能说服人吗？或者我只进行k折交叉验证而不单独制作和测试测试集，就能说服人吗？
谢谢！
回答：
遗憾的是，我认为单一的结果是不够的。这是因为你的结果可能是纯粹的运气。使用10折交叉验证，你可以使用90%的数据（4500张图像）进行训练，剩余10%用于测试。基本上，你在训练中没有使用更少的图像，同时还获得了更可靠的结果。
马丁提出的验证方案已经很好，但如果你想要更robust的方案，你应该使用嵌套交叉验证：
- 将数据集分为K折
- 第i个训练集由{1,2,..,K} \ i折组成。
- 将训练集分为N折。
- 设置超参数值网格
- 对于每个超参数值集：
- 在{1,2,..,N} \ j折上训练，并在第j折上测试；
- 对所有N折进行迭代并计算平均F分数。
-
选择最大化你的度量标准的超参数集。
-
使用第i个训练集和最优超参数集训练模型，并在第i折上测试。
-
对所有K折重复这一过程并计算平均度量标准。
平均度量标准可能不足以证明方法的稳定性，因此建议还提供结果的置信区间或方差。
最后，为了真正稳定地验证你的方法，你可以考虑用重抽样程序替换初始的K折交叉验证。不是将数据分为K折，而是随机重抽样数据集，使用90%的样本作为训练，10%的样本用于测试。重复这个过程M次，M>K。如果计算速度足够快，你可以考虑进行20-50次或100次这样的操作。
