为了深入了解深度学习神经网络的细节，我编写了自己的库，涵盖了所有内容（优化器、层、激活函数、成本函数），都是自制的。

在使用MNIST数据集进行基准测试时，如果只使用sigmoid激活函数，一切似乎运行良好。

不幸的是，当我用ReLU替换它们时，出现了问题。

这是我在约500个示例的训练数据集上进行50个周期后的学习曲线图：

在前约8个周期内一切正常，然后分数完全崩溃，达到了一个虚拟分类器的水平（约0.1的准确率）。我检查了ReLU的代码，看起来没问题。以下是我的前向和后向传递代码：

def fprop(self, inputs):    return np.maximum( inputs, 0.)def bprop(self, inputs, outputs, grads_wrt_outputs):    derivative = (outputs > 0).astype( float)    return derivative * grads_wrt_outputs

问题似乎出在ReLU的数值稳定性上。我尝试了不同的学习率和多种参数初始化方法，结果都是一样的。Tanh和sigmoid都能正常工作。这是已知的问题吗？这是ReLU函数非连续导数的结果吗？

回答：

是的，很可能是ReLU造成的。大多数基于感知机的经典模型，包括ConvNet（经典的MNIST训练器），在训练准确性上依赖于正负权重。ReLU忽略了负特性，从而削弱了模型的能力。

ReLU更适合于卷积层；它是一个过滤器，意思是“如果内核对输入的这一部分不感兴趣，我不管这种无聊有多深，就忽略它。”MNIST训练依赖于反向校正，允许节点说“不，这不好，向另一个方向跑！”