我在Weka中使用了10折交叉验证。

我知道这通常意味着数据被分成10部分，90%用于训练，10%用于测试，并且这种方式会轮换10次。

我想知道Weka是如何计算最终的AUC值的。是所有10个测试集的平均值吗？还是（我希望是这样的），它使用了一个单独的保留测试集？我在Weka的书中似乎找不到这方面的描述。

回答：

Weka 平均了测试结果。并且这种方法比使用保留集要更好，我不明白你为什么会希望使用这种方法。如果你保留一个测试集（无论大小如何），你的测试结果在统计上将不会显著，它只能说明，在训练数据上选择的最佳参数下，你在数据的一个任意小部分上获得了某个分数。交叉验证（作为评估技术）的整个意义在于轮流使用所有数据进行训练和测试，因此所得的度量是真实评估度量的期望值的近似。如果你使用保留测试集，它不会收敛到期望值（至少在合理的时间内不会），更重要的是——你将不得不选择另一个常数（保留集的大小以及为什么这样选择？），并且减少用于训练的样本数量（而交叉验证正是由于训练和测试数据集太小的问题而被开发出来的）。