我尝试在我的模型中添加另一个LSTM层,但我只是个初学者,而且不太擅长。我使用的是Kaggle上的(Better) – Donal Trump Tweets! 数据集来进行LSTM文本生成。
我努力让它运行,但它返回了一个错误:
<ValueError: Input 0 of layer lstm_16 is incompatible with the layer: expected ndim=3, found ndim=2. Full shape received: [None, 128]>
我的模型是这样的:
print('Building model...')model2 = Sequential()model2.add(LSTM(128, input_shape=(maxlen, len(chars)),return_sequences=True))model2.add(Dropout(0.5))model2.add(LSTM(128))model2.add(Dropout(0.5))model2.add(LSTM(128))model2.add(Dropout(0.2))model2.add(Dense(len(chars), activation='softmax'))# optimizer = RMSprop(lr=0.01)optimizer = Adam()model.compile(loss='categorical_crossentropy', optimizer=optimizer)print('model built')
模型在只有两个LSTM层、两个Dropout层和一个Dense层的情况下可以正常工作。我认为我的input_shape设置有问题,但也有可能是我错了。我的模型是基于上述数据集笔记本中的一个笔记本这里构建的。
回答:
为了堆叠RNN,你必须使用return_sequences=True
。从错误信息可以看出,层期望接收一个3维张量
,但收到了一个2维
的。这里你可以阅读到return_sequences=True
标志将输出一个3维
张量。
如果为True,则返回每个时间步的完整序列输出(一个形状为(batch_size, timesteps, output_features)的3D张量)。
假设你的输入层没有问题,并且输入数据正确传递,我建议尝试以下模型。
print('Building model...')model2 = Sequential()model2.add(LSTM(128, input_shape=(maxlen, len(chars)),return_sequences=True))model2.add(Dropout(0.5))model2.add(LSTM(128, return_sequences=True))model2.add(Dropout(0.5))model2.add(LSTM(128))model2.add(Dropout(0.2))model2.add(Dense(len(chars), activation='softmax'))# optimizer = RMSprop(lr=0.01)optimizer = Adam()model.compile(loss='categorical_crossentropy', optimizer=optimizer)print('model built')