使用Keras构建RNN编码器-解码器

我正在尝试构建一个用于机器语言翻译(从英语到法语)的架构

model = Sequential()model.add(LSTM(256, input_shape =(15,1)))model.add(RepeatVector(output_sequence_length))model.add(LSTM(21,return_sequences=True))model.add(TimeDistributed(Dense(french_vocab_size, activation='sigmoid'))

英语句子的最大长度为15,法语为21。英语单词的最大数量为199,法语为399。output_sequence_length 为21。这个模型给我抛出了一个错误

检查输入时出错:期望 lstm_40_input 的形状为 (None, 15, 1),但得到的数组形状为 (137861, 21, 1)

我对Keras中的LSTM理解有些困惑。

1.根据文档,第一个参数必须是“输出空间的维度”。我不明白这是什么意思。此外,

  1. return_sequences设置为True时,具体会发生什么

请告诉我。


回答:

你试图向网络输入什么类型的数据?因为在我看来,你没有将单词转换为向量(二进制向量或编码向量)。

无论如何,LSTM网络需要一个三维输入,这些维度对应于:(样本,时间步,长)。

在你的例子中,样本对应于你的句子数量,我猜是137861。时间步对应于每个序列的长度,在你的例子中是15,而特征是每个编码单词的大小(取决于你选择的编码类型。如果你选择OneHotEncoding,它将是199)。

你得到的错误显示,你向网络输入了21个时间步的序列,而不是15个。

对于你的第二个问题,当return_sequences设置为False时,它每个LSTM层只返回一个输出,在你的第一个LSTM层的情况下将是(256,)。当它设置为True时,它将为每个时间步返回一个输出,总体输出形状为(15, 256)。当你想要堆叠两个或更多LSTM层时,你总是需要将第一层设置为return_sequences = True

另外,你正在构建的被称为多对多架构,输入和输出的时间步长度不同(15对21)。据我所知,在Keras中实现这一点并不容易。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注