我在分类任务的神经网络中看到的大多数例子都使用softmax层作为输出激活函数。通常，其他隐藏单元使用sigmoid、tanh或ReLU函数作为激活函数。据我所知，在这里使用softmax函数在数学上也是可行的。

• 理论上为什么不使用softmax函数作为隐藏层激活函数的理由是什么？
• 是否有关于此的出版物，可以引用吗？

回答：

除了Quora上的问题（你可能已经读过）之外，我没有找到任何关于为什么在隐藏层中使用softmax作为激活函数不是最佳选择的出版物，但我会尝试解释为什么在这种情况下使用它不是最佳选择：

1. 变量独立性：很多正则化和努力都是为了保持变量的独立性、不相关性和相当的稀疏性。如果你在隐藏层中使用softmax层，那么你将使所有节点（隐藏变量）保持线性依赖，这可能会导致许多问题和较差的泛化能力。

2. 训练问题：试想一下，为了使你的网络表现得更好，你需要降低隐藏层中部分激活值。那么，你会自动使其余激活值的平均激活水平升高，这实际上可能会增加误差并损害训练阶段。

3. 数学问题：通过对模型激活值施加约束，你降低了模型的表达能力，而这没有合理的解释。在我看来，追求所有激活值相同是不值得的。

4. 批量归一化做得更好：有人可能认为网络的恒定平均输出对于训练是有用的。但另一方面，已经证明一种称为批量归一化的技术效果更好，而报道称在隐藏层中将softmax设置为激活函数可能会降低准确性和学习速度。