我正在从头开始编写一个单层的多层感知器，仅包含输入层、隐藏层和输出层。输出层将使用softmax激活函数来生成多个互斥输出的概率。

在我看来，隐藏层不适合使用softmax激活函数 – 这是正确的吗？如果是这样，我可以使用其他非线性激活函数，比如sigmoid或tanh吗？或者我甚至可以不使用任何激活函数，直接将隐藏节点的值保持为输入节点和输入到隐藏层的权重的线性组合吗？

回答：

在我看来，隐藏层不适合使用softmax激活函数 – 这是正确的吗？

确实是正确的。

如果是这样，我可以使用其他非线性激活函数，比如sigmoid或tanh吗？

可以，但大多数现代方法会建议使用整流线性单元（ReLU），或其变体（如Leaky ReLU、ELU等）。

或者我甚至可以不使用任何激活函数，直接将隐藏节点的值保持为输入节点和输入到隐藏层的权重的线性组合吗？

不行。非线性激活函数确实是防止（可能很大）神经网络表现得像单个线性单元的原因；可以证明（见Andrew Ng在Coursera的相关讲座为什么需要非线性激活函数？）：

事实证明，如果你使用线性激活函数，或者不使用激活函数，那么无论你的神经网络有多少层，它所做的始终是计算一个线性激活函数，所以你还不如没有隐藏层。

重点是线性隐藏层基本上是无用的，因为两个线性函数的组合本身就是一个线性函数；因此，除非你加入非线性，否则即使在网络中深入，你也无法计算更有趣的函数。

实际上，唯一可以使用线性激活函数的地方是用于回归问题的输出层（也在上面链接的讲座中解释）。