在进行模型验证时，我感到有些困惑。
我对6种不同的算法做了以下工作：
–>将数据集按75/25的比例分成训练集和测试集，测试集保持未触碰状态。
–>对于训练集，我做了以下操作：
- 将其分为4折（外层）并进行了嵌套重复（五次）十折（内层）交叉验证。通过随机搜索10次进行超参数调整（留一法策略）。
- 提取了指标（ROC曲线、准确率、特异性等），并获得了最佳模型的参数。
现在问题来了：
我还有一组未触碰的测试集（来自最初的分割），我应该怎么处理它？是直接应用到最佳模型上查看性能？还是用最佳参数重新训练最佳模型，使用整个训练集，然后应用测试集？
还是说这里所有的步骤都错了？
回答：
你做得对。这是通用的规则：
- 从6个模型中选出最佳模型。我看到你的K值是4，推荐使用10或20。
- 再次在所有部分上重新训练最佳模型（整个训练集）。（交叉验证已经建立了信任）。
- 在测试集上进行预测。
