我正在学习人工神经网络，并且已经实现了一个带有几个隐藏层的标准前馈网络。现在，我试图理解递归神经网络(RNN)在实践中的工作原理，并且在激活/传播如何通过网络流动方面遇到了困难。

在我的前馈网络中，激活是神经元逐层激活的简单过程。在递归网络中，神经元连接回前面的层，有时甚至连接到自己，因此网络的传播方式必须有所不同。问题是，我似乎找不到关于传播如何发生的具体解释。

例如，对于像这样的网络，传播是如何发生的呢：

Input1 --->Neuron A1 --------->  Neuron B1 ---------------------> Output                ^                   ^     ^      |                |                   |     --------                |                   |Input2 --->Neuron A2 --------->  Neuron B2

我想象这将是一个滚动激活，随着神经元阈值的降低，神经元激活逐渐减弱，就像生物学中的情况一样，但似乎有一种通过导数进行计算的更有效的方法来实现这一点？

回答：

我现在对递归网络与前馈网络的传播基本原理有了把握：明确的时间步长。

在前馈网络中，传播是逐层发生的，因此第一层的神经元首先激活，接着是第二层、第三层等，所以传播是一个神经元激活刺激其作为输入的神经元激活的过程。

另一种思考方式是，任何给定时间点输入处于活跃状态的神经元将是激活的。因此，如果在时间t=0时第一层的神经元处于活跃状态，那么在下一个时间t=1时，第二层将被激活，因为第二层的神经元以第一层的神经元作为输入。

虽然这种思考方式的差异可能看起来像是语义上的，但对我来说，这对于弄清楚如何实现递归网络至关重要。在前馈网络中，时间步长是隐式的，代码依次遍历神经元层，像多米诺骨牌一样激活它们。在递归网络中，尝试使用多米诺骨牌式的激活方式，每个神经元指定它接下来激活的神经元，对于大型、复杂的网络来说将是一场噩梦。相反，在给定时间t对网络中的每个神经元进行轮询，以查看它是否基于其输入而激活，这是更有意义的做法。

当然，递归神经网络有很多不同的类型，但我认为这种关键的明确时间步长是递归网络传播的关键。

我之前好奇的微分方程部分，如果不是使用离散的时间步长t为0、1、2等，而是尝试通过非常小的时间增量（如0.2、0.1、0.05等）来建模传播，以实现更平滑、更连续的网络流动，那么微分方程就会派上用场。