我正在运行一个神经网络，使用不同的激活函数来观察它们对学习的影响。我使用的是MNIST数据集，并设置了两个隐藏层。我得到了以下关于准确率和错误的学习曲线。
从准确率曲线可以明显看出，sigmoid函数的表现最差。但是在查看错误图时，似乎其最终错误值显著低于其他函数。它的准确率低而错误也低？我不明白这是怎么可能的。能有人解释一下这里发生了什么吗？这是可能的还是我犯了什么错误？
回答：
首先，如果你能提供更多关于如何获得这些图表的信息，将有助于解释这些图表。它们是否在同一个数据集上计算的？我还假设你在最后的全连接层使用了softmax函数，并优化了交叉熵损失函数。
loss_i = – log p_i
p_i 是第i张图像所属的正确类别的softmax概率。（模型为10个类别中的每一个输出一个概率，但交叉熵损失函数只使用预测为正确类别的那个概率）。损失函数是所有图像数据的平均值。
从这两个图表中我看到：第一张图表显示，sigmoid模型误分类图像的数量比ReLU相关的模型多——因此它的准确率较低。然而，第二张图表显示，平均来说，当它正确分类图像时，它的概率值更高（更接近100%），和/或当它误分类图像时，错误的幅度似乎很小。
ReLU相关的模型似乎在预测正确类别方面表现更好。然而，当它们出错时，似乎错误得非常离谱。
为什么会这样呢？这与隐藏层激活函数有什么关系？…我无法判断。
