我想让仅包含全连接层的Keras模型收敛

我有一个仅包含全连接层(Dense)的Keras模型。我的训练图像尺寸是227*227,有100个类,每个类有一个训练图像,我希望模型过拟合并达到100%的训练准确率。

问题:我尝试调整模型的超参数,但它无法收敛到100%的训练准确率。尽管这只是一个全连接层模型。

这是我的代码:

X_train, y_train = ...# 创建Keras模型model = Sequential()model.add(Dense(100, input_dim=input_dim, activation='softmax',                kernel_regularizer=regularizers.l2(0.01),                activity_regularizer=regularizers.l1(0.01)))model.compile(optimizer='rmsprop',              loss='categorical_crossentropy',              metrics=['accuracy'])model.summary()# 回调和训练csv_logger = CSVLogger('training_log_v1.csv')model.fit(x_train, y_train, epochs=10000, batch_size=100, callbacks=[csv_logger])

这是上述代码的图表。

enter image description here

我尝试了从10K到20K个epoch的不同超参数实验。在某些epoch之后,损失不再下降,训练准确率也没有改善。

我尝试了不同的优化器(及其超参数)和正则化。除了优化器和正则化器,这里没有太多超参数可以调整,对吗?

如果有人能帮助我使模型收敛,那将非常感谢。谢谢!


回答:

我成功实现了过拟合。这是我用于过拟合实验的超参数。

类别: 100每个类别的样本数: 1kernel_regularizer=regularizers.l2(0.01)activity_regularizer=regularizers.l1(0.01)优化器: Adam学习率: 0.00001设置的Epochs: 50000批量大小: 256

我在大约12K个epoch时达到了99%的训练准确率,并在约25K个epoch之前持续降低损失。

Related Posts

关于k折交叉验证的直观问题

我在使用交叉验证检查预测能力时遇到了一些直观问题,我认…

调整numpy数组大小以使用sklearn的train_test_split函数?

我正在尝试使用sklearn中的test_train_…

如何转换二维张量和索引张量以便用于torch.nn.utils.rnn.pack_sequence

我有一组序列,格式如下: sequences = to…

模型预测值的含义是什么?

我在网上找到一个数字识别器的CNN模型并进行了训练,当…

锯齿张量作为LSTM的输入

了解锯齿张量以及如何在TensorFlow中使用它们。…

如何告诉SciKit的LinearRegression模型预测值不能小于零?

我有以下代码,尝试根据非价格基础特征来估值股票。 pr…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注