我正在尝试使用Keras在Google QuickDraw的绘图上训练一个分类器:
import numpy as npfrom tensorflow.keras.layers import Conv2D, Dense, Flatten, MaxPooling2Dfrom tensorflow.keras.models import Sequentialmodel = Sequential()model.add(Conv2D(filters=32, kernel_size=5, data_format="channels_last", activation="relu", input_shape=(28, 28, 1)))model.add(MaxPooling2D(data_format="channels_last"))model.add(Conv2D(filters=16, kernel_size=3, data_format="channels_last", activation="relu"))model.add(MaxPooling2D(data_format="channels_last"))model.add(Flatten(data_format="channels_last"))model.add(Dense(units=128, activation="relu"))model.add(Dense(units=64, activation="relu"))model.add(Dense(units=4, activation="softmax"))model.compile(optimizer="adam", loss="categorical_crossentropy", metrics=["accuracy"])x = np.load("./x.npy")y = np.load("./y.npy")model.fit(x=x, y=y, batch_size=100, epochs=40, validation_split=0.2)输入数据是一个4维数组，每个类别有12000张标准化的图像（28 x 28 x 1）。输出数据是一组独热编码向量。
如果我用四个类别来训练这个模型，它会产生令人信服的结果:
（红色是训练数据，蓝色是验证数据）
我知道模型有些过拟合。然而，我希望保持架构尽可能简单，所以我接受了这一点。
我的问题是，只要我添加一个任意类别，模型就会开始极度过拟合:
我尝试了许多不同的方法来防止过拟合，比如批量归一化、丢弃法、核正则化、更多的训练数据和不同的批次大小，但这些都没有带来显著的改善。
为什么我的CNN会过拟合得这么严重呢？
编辑: 这是我用来创建x.npy和y.npy的代码:
import numpy as npfrom tensorflow.keras.utils import to_categoricalfiles = ['cat.npy', 'dog.npy', 'apple.npy', 'banana.npy', 'flower.npy']SAMPLES = 12000x = np.concatenate([np.load(f'./data/{f}')[:SAMPLES] for f in files]) / 255.0y = np.concatenate([np.full(SAMPLES, i) for i in range(len(files))])# (samples, rows, cols, channels)x = x.reshape(x.shape[0], 28, 28, 1).astype('float32')y = to_categorical(y)np.save('./x.npy', x)np.save('./y.npy', y).npy文件来自这里。
回答：
问题在于数据分割的方式。请注意有5个类别，而你使用了0.2的验证分割。默认情况下没有洗牌，而在你的代码中，你按顺序输入数据。这意味着:
- 训练数据完全由4个类别组成: ‘cat.npy’, ‘dog.npy’, ‘apple.npy’, ‘banana.npy’。这就是
0.8的训练分割。 - 测试数据是’flower.npy’。这是你的
0.2验证分割。模型从未在这个类别上进行过训练，所以准确率极差。
这种结果只有在validation_split=0.2的情况下才可能实现，因此你得到了接近完美的类别分离。
解决方案
x = np.load("./x.npy")y = np.load("./y.npy")# 洗牌数据！p = np.random.permutation(len(x))x = x[p]y = y[p]model.fit(x=x, y=y, batch_size=100, epochs=40, validation_split=0.2)如果我的假设是正确的，将validation_split设置为例如0.5也应该会得到更好的结果（虽然这不是一个解决方案）。
