哪种类型的数据集从使用k折验证中受益最大？它通常比标准分割比例更好的选项吗？

回答：

简短的回答是：小数据集。

更详细的解释 – 当数据的单一随机样本不能代表基础分布时，你就应该使用k折分割（或自助法等）。数据集的大小只是试图捕捉这一现象的启发式方法。问题在于 – 你的分布越复杂 – “足够大”的尺寸就越大。因此，如果你的问题是2D分类，你几乎可以完美地拟合一个线性模型，那么即使只有几百个点，你可能也可以使用单一的随机分割。另一方面，如果你的数据来自极其复杂的分布，违反了独立同分布假设等，你将需要大量的分割来获得可靠的统计数据。

那么如何决定呢？一般来说 – 如果你负担得起计算时间，就进行k折交叉验证。这样不会损害你的过程。另一种更 statistically 合理的方法是收集你的数据的多个统计数据，例如 – 每个分割的边缘分布（每个特征的投影）的KDE，以及整个数据集，并比较这三者 – 如果它们几乎相同，你就可以使用这样的分割。如果你能注意到（无论是视觉上，还是通过统计测试）这些分布有显著差异 – 那么你就必须添加k折交叉验证（或其他减少结果方差的技术）。