我有一个仅包含全连接层(Dense)的Keras模型。我的训练图像尺寸是227*227
,有100
个类,每个类有一个训练图像,我希望模型过拟合并达到100%的训练准确率。
问题:我尝试调整模型的超参数,但它无法收敛到100%的训练准确率。尽管这只是一个全连接层模型。
这是我的代码:
X_train, y_train = ...# 创建Keras模型model = Sequential()model.add(Dense(100, input_dim=input_dim, activation='softmax', kernel_regularizer=regularizers.l2(0.01), activity_regularizer=regularizers.l1(0.01)))model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])model.summary()# 回调和训练csv_logger = CSVLogger('training_log_v1.csv')model.fit(x_train, y_train, epochs=10000, batch_size=100, callbacks=[csv_logger])
这是上述代码的图表。
我尝试了从10K到20K个epoch的不同超参数实验。在某些epoch之后,损失不再下降,训练准确率也没有改善。
我尝试了不同的优化器(及其超参数)和正则化。除了优化器和正则化器,这里没有太多超参数可以调整,对吗?
如果有人能帮助我使模型收敛,那将非常感谢。谢谢!
回答:
我成功实现了过拟合。这是我用于过拟合实验的超参数。
类别: 100每个类别的样本数: 1kernel_regularizer=regularizers.l2(0.01)activity_regularizer=regularizers.l1(0.01)优化器: Adam学习率: 0.00001设置的Epochs: 50000批量大小: 256
我在大约12K个epoch时达到了99%的训练准确率,并在约25K个epoch之前持续降低损失。