给定一个由三维向量组成的时间序列，[x, y, z] 其中x, y, 和z是任意整数，我希望构建一个模型来预测序列中的下一个向量，并捕捉每个维度x, y, z的模式。

因此，如果X = [[0, 0, 6], [1, 0, 0], [9, 9, 9], [3, 0, 3], [1, 2, 3]] 并且我给模型一个4个元素的序列[[0, 0, 6], [1, 0, 0], [9, 9, 9], [3, 0, 3]]，它将预测[1, 2, 3]

我不能简单地对每个向量进行独热编码，因为这些数字可以是任意值，所以我想知道如何实现这一点。任何见解都将不胜感激，谢谢！

回答：

在这种情况下，你的输入只是向量。在时间步1时，向量是[0,0,6]，在时间步2时，向量是[1,0,0]，依此类推。对于输出，你需要通过一个全连接层来转换输出，使其符合输出所需的大小。

假设你的序列长度是固定的，你在这里实际上不需要做任何预处理，除了或许需要标准化或重新缩放你的输入，以确保它们不是非常大的数字。

一般来说，RNN的工作方式与全连接网络非常相似。事实上，RNN单元由4个全连接网络组成，这些网络以一种非平凡的方式连接在一起。但从你输入什么和输出什么的角度来看，可以把它们看作是每个时间步的一个简单的全连接网络。

你可以在这里阅读更多关于我最后一段的内容：http://colah.github.io/posts/2015-08-Understanding-LSTMs/

如果你的序列长度是可变的，你通常会添加一个输入来标志它为预测步骤。这可以简单地全部为零，例如：

X = [[0, 0, 6], [1, 0, 0], [9, 9, 9], [3, 0, 3], [0, 0, 0]]

或者，如果[0,0,0]是一个有效的数据点，你可以添加一个特征来标志时间步是输入还是预测，例如：

X = [[0, 0, 0, 6], [0, 1, 0, 0], [0, 9, 9, 9], [0, 3, 0, 3], [1, 0, 0, 0]]

其中数据集中第一个值表示时间步是输入0还是预测1。

你将在每个时间步都有输出，但你会忽略这些输出。你的损失函数将仅基于最后一个时间步的输出。