编辑：我编辑了我的代码以创建seq2seq教程/练习，以下是链接： https://github.com/guillaume-chevalier/seq2seq-signal-prediction

我尝试进行一个序列到序列（seq2seq）的回归，具有多维输入和输出。我尝试了一些方法，得到的损失随时间变化如下：

模型完全无法学习预测在每个输入和输出维度上克隆的正弦函数，即使我尝试使用非常小的学习率也是如此。

Tensorflow为RNN构建的损失函数似乎适用于直接训练标签或词嵌入的情况，因此我尝试自己计算损失。关于这一点，我不知道我们应该如何处理dec_inp（解码器输入）变量，我尝试做的事情似乎在Tensorflow中尚未实现，但从概念上讲却非常简单（见标题）。

这是张量图：

图中有一些我没想到的东西，比如RMSProp优化器和basic_rnn_seq2seq之间的链接。

以下是我尝试过的内容：

...

这打印出：

...

似乎我的代码中缺少了一些小东西，或者可能存在一个小错误。

回答：

对于学习像sin(x)这样的函数，使用softmax损失是不合适的。* softmax损失通常用于多类离散预测* 对于连续预测，可以使用例如l2_loss

此外，由于sin(x)是x的函数，我认为你不需要使用RNN来做这件事。我建议首先尝试一个2层或3层的全连接网络。当它工作后，你可以尝试RNN。但sin(x)只依赖于x，而不依赖于整个历史，因此在这种情况下，循环状态将是无用的。