我理解的是，具有任意数量隐藏层的neural networks可以近似非线性函数，但是，它能近似以下函数吗：

f(x) = x^2

我无法想象它如何能做到这一点。这似乎是neural networks的一个非常明显的限制，可能限制了它的功能。例如，由于这个限制，neural networks可能无法正确近似统计学中使用的许多函数，如指数移动平均或甚至方差。

提到移动平均，循环neural networks能正确近似它吗？我理解前馈neural networks甚至单个线性神经元可以使用滑动窗口技术输出移动平均，但循环neural networks在没有X个隐藏层的情况下（X为移动平均大小）如何做到这一点呢？

另外，假设我们不知道原始函数f，它恰好获取最后500个输入的平均值，然后如果高于3输出1，如果不是则输出0。但假设我们不知道这一点，它是一个黑盒子。

循环neural networks如何近似它？我们首先需要知道它应该有多少时间步长，而我们不知道。或许LSTM网络可以做到，但即便如此，如果它不是简单的移动平均，而是指数移动平均呢？我认为即使是LSTM也做不到。

更糟糕的是，如果我们试图学习的f(x,x1)只是

f(x,x1) = x * x1

这看起来非常简单和直接。neural networks能学会它吗？我看不出它如何能做到这一点。

我是否错过了什么重要的东西，还是机器学习算法极其有限？除了neural networks之外，还有其他学习技术可以实际做到这些吗？

回答：

需要理解的关键点是紧致：

neural networks（以及任何其他近似结构，如多项式、样条或径向基函数）只能在紧致集内近似任何连续函数。

换句话说，理论表明，给定以下条件：

1. 一个连续函数f(x)，
2. 输入x的有限范围[a,b]，以及
3. 所需的近似精度ε>0，

那么存在一个neural network，可以在[a,b]内的任何地方以小于ε的近似误差来近似f(x)。

关于你的例子f(x) = x²，是的，你可以在任何有限范围内用neural network近似它：[-1,1]、[0, 1000]等。为了可视化这一点，想象你在[-1,1]内用阶跃函数近似f(x)。你能在纸上做到吗？请注意，如果你使步骤足够窄，你可以达到任何所需的精度。neural networks近似f(x)的方式与此并没有太大不同。

但同样，没有任何neural network（或任何其他近似结构）在有限数量的参数下能够近似f(x) = x²，对于所有x在[-∞, +∞]内。