我编写了一个简单的循环神经网络（7个神经元，每个神经元最初与所有其他神经元相连），并使用遗传算法对其进行训练，以学习“复杂”的非线性函数，例如1/(1+x^2)。作为训练集，我使用了[-5,5]范围内的20个值（我尝试使用超过20个值，但结果没有显著变化）。
网络可以很好地学习这个范围，并且当给出这个范围内的其他点的例子时，它可以预测函数的值。然而，它无法正确地外推，预测[-5,5]范围之外的函数值。导致这种情况的原因是什么？我可以做些什么来提高它的外推能力？
谢谢！
回答：
神经网络不是外推方法（无论是否为循环神经网络），这完全超出了它们的能力范围。它们用于拟合提供数据上的函数，它们完全自由地在训练点填充的子空间之外构建模型。因此，在不严格的意义上，应该将它们视为一种插值方法。
为了澄清，神经网络应该能够在由训练样本生成的子空间内概括函数，但在其外部则不能。
神经网络仅在与训练样本一致的意义上进行训练，而外推则是完全不同的事情。来自“H.Lohninger: Teach/Me Data Analysis, Springer-Verlag, Berlin-New York-Tokyo, 1999. ISBN 3-540-14743-8”的简单示例显示了神经网络在这种情况下的表现
所有这些网络都与训练数据一致，但在该子空间之外可以做任何事情。
你应该重新考虑你的问题的表述，如果它可以表达为回归或分类问题，那么你可以使用神经网络，否则你应该考虑一些完全不同的方法。
唯一可以做的事情是“纠正”训练集之外发生的事情，包括：
- 在所需的子空间中添加人工训练点（但这只是扩大了训练集，并且再次地，在这个新集合之外，网络的行为是“随机”的）
- 添加强正则化，这将迫使网络创建非常简单的模型，但模型的复杂性并不能保证任何外推能力，因为两个完全相同复杂度的模型在正/负无穷大处可能有完全不同的极限。
结合上述两个步骤可以帮助构建在某种程度上“外推”的模型，但正如之前所述，这不是神经网络的目的。
