这是我的代码
for _ in range(5): K.clear_session() model = Sequential() model.add(LSTM(256, input_shape=(None, 1))) model.add(Dropout(0.2)) model.add(Dense(256)) model.add(Dropout(0.2)) model.add(Dense(1)) model.compile(loss='mean_squared_error', optimizer='RmsProp', metrics=['accuracy']) hist = model.fit(x_train, y_train, epochs=20, batch_size=64, verbose=0, validation_data=(x_val, y_val)) p = model.predict(x_test) print(mean_squared_error(y_test, p)) plt.plot(y_test) plt.plot(p) plt.legend(['testY', 'p'], loc='upper right') plt.show()Total params : 330,241samples : 2264
以下是结果
我没有做任何更改。
我只运行了for循环。
如图所示，尽管我只运行了for循环，MSE的结果仍然很大。
我认为这个问题根本原因是优化器无法找到全局最大值，而是找到了局部最大值并收敛。原因是在检查了所有损失图表后，损失不再显著减少。（在20次之后）因此，为了解决这个问题，我必须找到全局最小值。我该怎么做呢？
我尝试调整了batch_size和epoch的数量。此外，我还尝试了隐藏层大小、LSTM单元、核初始化添加、优化器更改等，但没有得到任何有意义的结果。
我想知道如何解决这个问题。
您的宝贵意见和想法将非常受欢迎。
如果您想查看完整的源代码，这里是链接 https://gist.github.com/Lay4U/e1fc7d036356575f4d0799cdcebed90e
回答：
从你的例子来看，问题仅仅是因为你的参数数量是你样本数量的100多倍。如果你减小模型的尺寸，你会看到方差减少。
你提出的更广泛的问题实际上非常有趣，通常在教程中不会涉及。几乎所有机器学习模型本质上都是随机的，每次运行时输出预测会略有变化，这意味着你总是需要问一个问题：我应该将哪个模型部署到生产环境中？
我想到的有两个解决方案：
- 选择在所有数据上训练的第一个模型（在交叉验证后，…）
- 构建一个具有相同超参数的模型集合，并实施一个简单的投票策略
参考资料：
