我在尝试使用神经网络来解决CIFAR-10数据集的问题时，遇到了一个非常奇怪的问题。我已经尝试了超过6种不同的CNN架构，并调整了许多不同的CNN超参数和全连接层的neurons数量，但所有尝试都失败了，损失值始终为2.302，对应的准确率为0.0625。这是为什么呢？是什么CNN或神经网络的特性导致了这种情况？我还尝试了dropout、l2_norm、不同的卷积核大小、不同的填充方式以及最大池化，但我无法理解为什么损失值会卡在一个如此奇怪的数字上？

我使用TensorFlow来实现这个模型，并且我尝试了带有softmax层的交叉熵损失，以及不带softmax层的稀疏交叉熵损失。神经网络的损失函数是否卡在一个平台期？

回答：

这看起来像是你不小心在网络的最后一层应用了非线性/激活函数。请记住，交叉熵的计算是基于0到1之间的值的。由于你在计算交叉熵之前通过应用softmax函数自动将输出“强制”到这个范围内，你应该只“应用”线性激活函数（实际上就是不添加任何激活函数）。

顺便说一下，2.302这个值并不是随机的。它实际上是当你假设所有10个类别（CIFAR-10）初始时具有相同的预期扩散概率0.1时，softmax损失的结果为-ln(0.1)。请查看Andrej Karpathy的解释：http://cs231n.github.io/neural-networks-3/