LSTM文本生成 Input_shape

我尝试在我的模型中添加另一个LSTM层,但我只是个初学者,而且不太擅长。我使用的是Kaggle上的(Better) – Donal Trump Tweets! 数据集来进行LSTM文本生成。

我努力让它运行,但它返回了一个错误:

<ValueError: Input 0 of layer lstm_16 is incompatible with the layer: expected ndim=3, found ndim=2. Full shape received: [None, 128]>

我的模型是这样的:

print('Building model...')model2 = Sequential()model2.add(LSTM(128, input_shape=(maxlen, len(chars)),return_sequences=True))model2.add(Dropout(0.5))model2.add(LSTM(128))model2.add(Dropout(0.5))model2.add(LSTM(128))model2.add(Dropout(0.2))model2.add(Dense(len(chars), activation='softmax'))# optimizer = RMSprop(lr=0.01)optimizer = Adam()model.compile(loss='categorical_crossentropy', optimizer=optimizer)print('model built')

模型在只有两个LSTM层、两个Dropout层和一个Dense层的情况下可以正常工作。我认为我的input_shape设置有问题,但也有可能是我错了。我的模型是基于上述数据集笔记本中的一个笔记本这里构建的。


回答:

为了堆叠RNN,你必须使用return_sequences=True。从错误信息可以看出,层期望接收一个3维张量,但收到了一个2维的。这里你可以阅读到return_sequences=True标志将输出一个3维张量。

如果为True,则返回每个时间步的完整序列输出(一个形状为(batch_size, timesteps, output_features)的3D张量)。

假设你的输入层没有问题,并且输入数据正确传递,我建议尝试以下模型。

print('Building model...')model2 = Sequential()model2.add(LSTM(128, input_shape=(maxlen, len(chars)),return_sequences=True))model2.add(Dropout(0.5))model2.add(LSTM(128, return_sequences=True))model2.add(Dropout(0.5))model2.add(LSTM(128))model2.add(Dropout(0.2))model2.add(Dense(len(chars), activation='softmax'))# optimizer = RMSprop(lr=0.01)optimizer = Adam()model.compile(loss='categorical_crossentropy', optimizer=optimizer)print('model built')

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注