我想让仅包含全连接层的Keras模型收敛

我有一个仅包含全连接层(Dense)的Keras模型。我的训练图像尺寸是227*227,有100个类,每个类有一个训练图像,我希望模型过拟合并达到100%的训练准确率。

问题:我尝试调整模型的超参数,但它无法收敛到100%的训练准确率。尽管这只是一个全连接层模型。

这是我的代码:

X_train, y_train = ...# 创建Keras模型model = Sequential()model.add(Dense(100, input_dim=input_dim, activation='softmax',                kernel_regularizer=regularizers.l2(0.01),                activity_regularizer=regularizers.l1(0.01)))model.compile(optimizer='rmsprop',              loss='categorical_crossentropy',              metrics=['accuracy'])model.summary()# 回调和训练csv_logger = CSVLogger('training_log_v1.csv')model.fit(x_train, y_train, epochs=10000, batch_size=100, callbacks=[csv_logger])

这是上述代码的图表。

enter image description here

我尝试了从10K到20K个epoch的不同超参数实验。在某些epoch之后,损失不再下降,训练准确率也没有改善。

我尝试了不同的优化器(及其超参数)和正则化。除了优化器和正则化器,这里没有太多超参数可以调整,对吗?

如果有人能帮助我使模型收敛,那将非常感谢。谢谢!


回答:

我成功实现了过拟合。这是我用于过拟合实验的超参数。

类别: 100每个类别的样本数: 1kernel_regularizer=regularizers.l2(0.01)activity_regularizer=regularizers.l1(0.01)优化器: Adam学习率: 0.00001设置的Epochs: 50000批量大小: 256

我在大约12K个epoch时达到了99%的训练准确率,并在约25K个epoch之前持续降低损失。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注