我想开发一个CNN模型来识别美国手语中的24个手势。我创建了一个自定义数据集，每个手势包含3000张图片，即整个数据集有72000张图片。

为了训练模型，我将使用80-20的数据集分割（训练集中每个手势有2400张图片，验证集中每个手势有600张图片）。

我的问题是：在创建数据集时是否应该随机洗牌图片？为什么？

根据我之前的经验，这导致验证损失低于训练损失，验证准确率高于训练准确率。请查看这个链接。

回答：

数据的随机洗牌是所有机器学习流程中的标准步骤，图像分类也不例外；其目的是在数据准备过程中打破可能存在的偏见——例如，在猫/狗分类数据集中，先放所有的猫图片，然后再放狗的图片。

以著名的iris数据集为例：

from sklearn.datasets import load_irisX, y = load_iris(return_X_y=True)y# result:array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])

如您所见，数据集的准备方式使得前50个样本全部是标签0，接下来的50个是标签1，最后50个是标签2。在这种数据集上进行没有洗牌的5折交叉验证，您会发现大多数折只包含单一标签；尝试3折CV，所有折将只包含一个标签。这很糟糕…顺便说一下，这不仅仅是理论上的可能性，实际上已经发生过。

即使不存在这样的偏见，洗牌也不会有害，所以我们总是这样做，以防万一（你永远不知道会发生什么…）。

根据我之前的经验，这导致验证损失低于训练损失，验证准确率高于训练准确率。请查看这个链接。

正如那里的回答所指出的，这不太可能是由于洗牌造成的。数据洗牌并不是什么复杂的操作——本质上，它就像洗牌一副扑克牌；可能有一次你坚持要“更好”地洗牌，结果你得到了一手同花顺，但显然这不是因为“更好”地洗牌造成的。