循环神经网络能否用于学习具有略微不同变化的序列？例如，如果我有足够的训练数据，我能否训练一个RNN，使其能够生成连续整数或交替整数的序列？

例如，如果我使用以下数据进行训练：

1,2,3,42,3,4,53,4,5,6

等等，同时也使用以下数据训练同一个网络：

1,3,5,72,4,6,83,5,7,9

等等，我能否成功预测测试集中的这两个序列？

如果训练数据中有更多变化，如每三个整数或每四个整数的序列等，又会怎样？

回答：

是的，只要序列中包含足够的信息使得其不模棱两可，神经网络就应该能够正确地学习并完成这些序列。

不过，你需要注意以下几点：

• 神经网络，以及一般意义上的机器学习模型，在外推方面表现不佳。一个简单的网络不太可能学会一般意义上的序列。它永远不会像一个孩子那样迅速学会序列逻辑的概念。因此，如果你输入的测试数据超出了它的经验范围（例如，项目之间的步长为3，而这在训练数据中不存在），它的表现会很差。

• 神经网络更喜欢经过缩放的输入——一个常见的预处理步骤是将每个输入列标准化为均值0和标准差1。虽然网络有可能接受更大范围的数字作为输入，但这会降低训练的有效性。对于人造数字序列这样的生成训练集，你可以通过更长时间的训练和更多的样本来强行解决这个问题。

• 你需要更多的神经元和更多的层来支持更大变化的序列。

• 对于RNN，如果它已经处理过的序列是模棱两可的，它的预测效果会很差。例如，如果你以相同数量的样本训练1,2,3,4和1,2,3,5，当它看到序列1,2,3并要求预测时，它会预测4.5（对于回归）或50%的概率预测4或5（对于分类器）。