在Ilya Sutskever的“TRAINING RECURRENT NEURAL NETWORK”中,提出了以下技术,用于在前馈神经网络中通过反向传播计算导数。
该网络有l个隐藏层,l+1个权重矩阵和b+1个偏置向量。
“前向”阶段:
“后向”阶段:
l+1的索引是否有问题?例如,在前向阶段我们计算了z_l+1但返回了z_l。
(由于这是一篇非常重要的论文,我想我可能错过了什么)
回答:
没有问题,一些索引是从0开始的(例如变量z),一些是从1开始的(例如变量x)。请更仔细地按照算法进行,尝试手动写出例如l=4的情况。