我在尝试使用Tensorflow构建一个seq2seq聊机器人，但它似乎无论输入如何都会收敛到相同的输出。模型在刚初始化时会给出不同的输出，但在几个epoch后很快就收敛到相同的输出。即使经过大量epoch和低成本，这个问题依然存在。然而，当使用较小的数据集（比如20个）进行训练时，模型表现良好，但在大数据集上却失败了。
我使用的是Cornell电影对话语料库进行训练，采用了100维和50000词汇的预训练Glove嵌入。
当给定完全不同的输入时，编码器的最终状态非常接近（大约在0.01的范围内）。我尝试了简单的LSTM/GRU、双向LSTM/GRU、多层/堆叠LSTM/GRU，以及多层双向LSTM/GRU。RNN节点的隐藏单元从16到2048都进行了测试。唯一的区别是，当隐藏单元较少时，模型倾向于只输出开始和结束标记（GO和EOS）。
对于多层GRU，我的代码如下：
cell_encode_0 = tf.contrib.rnn.GRUCell(self.n_hidden)cell_encode_1 = tf.contrib.rnn.GRUCell(self.n_hidden)cell_encode_2 = tf.contrib.rnn.GRUCell(self.n_hidden)self.cell_encode = tf.contrib.rnn.MultiRNNCell([cell_encode_0, cell_encode_1, cell_encode_2])# identical decoder...embedded_x = tf.nn.embedding_lookup(self.word_embedding, self.x)embedded_y = tf.nn.embedding_lookup(self.word_embedding, self.y)_, self.encoder_state = tf.nn.dynamic_rnn( self.cell_encode, inputs=embedded_x, dtype=tf.float32, sequence_length=self.x_length )# decoder for traininghelper = tf.contrib.seq2seq.TrainingHelper( inputs=embedded_y, sequence_length=self.y_length )decoder = tf.contrib.seq2seq.BasicDecoder( self.cell_decode, helper, self.encoder_state, output_layer=self.projection_layer )outputs, _, _ = tf.contrib.seq2seq.dynamic_decode(decoder, maximum_iterations=self.max_sequence, swap_memory=True)return outputs.rnn_output...# Optimizationdynamic_max_sequence = tf.reduce_max(self.y_length)mask = tf.sequence_mask(self.y_length, maxlen=dynamic_max_sequence, dtype=tf.float32)crossent = tf.nn.sparse_softmax_cross_entropy_with_logits( labels=self.y[:, :dynamic_max_sequence], logits=self.network())self.cost = (tf.reduce_sum(crossent * mask) / batch_size)self.train_op = tf.train.AdamOptimizer(self.learning_rate).minimize(self.cost)完整代码请查看github。（如果你想测试它，运行train.py）
关于超参数，我尝试了从0.1到0.0001的学习率，以及从1到32的批量大小。除了常规和预期的影响外，它们对解决问题没有帮助。
回答：
经过几个月的深入研究，我终于找到了问题所在。似乎RNN在解码器输入中需要GO标记，但在输出中不需要（你用于计算成本的那个）。基本上，RNN期望它的数据如下所示：
编码器输入：GO foo foo foo EOS
解码器输入/真实值：GO bar bar bar EOS
解码器输出：bar bar bar EOS EOS/PAD
在我的代码中，我在解码器的输入和输出中都包含了GO标记，导致RNN重复相同的标记（GO -> GO，bar -> bar）。这个问题可以通过创建一个不包含真实值第一列（GO标记）的额外变量来轻松解决。在numpy中，这看起来像这样
# y是真实值，shape[0] = batch，shape[1] = token indexnp.concatenate([y[:, 1:], np.full([y.shape[0], 1], EOS)], axis=1)