为什么在隐藏层中首选Log-Sigmoid激活函数而不是Tanh-Sigmoid激活函数？另外，如果我使用Z分数标准化，我可以在隐藏层中使用Sigmoid激活函数吗？
回答：
古代历史
使用Sigmoid函数的动机在历史上是有物理基础的。最早的神经网络，实际上使用的是阶跃函数
动机是当时人们认为这是大脑中神经元的工作方式。在一定的固定激活能量下，神经元会“激活”，从不活跃（0）变为活跃（1）。然而，这些网络很难训练，标准范式也是基于物理动机的，例如“经常使用的神经元会获得更强的连接”。这在非常小的网络中有效，但完全无法扩展到更大的网络中。
梯度下降和Sigmoid的出现
在80年代，神经网络发生了一次小小的革命，人们发现可以使用梯度下降来训练它们。这使得网络能够扩展到更大的规模，但也标志着阶跃激活的终结，因为它不可微分。然而，鉴于阶跃激活的悠久历史及其合理的物理动机，人们不愿完全放弃它，因此通过Sigmoid函数来近似它，Sigmoid函数具有许多相似的特性，但在0附近是可微的。
后来，人们开始使用Tanh函数，因为它是零中心的，在某些情况下具有更好的特性。
RevoLUtion
然后在2000年，Nature上发表了一篇开创性的论文，建议使用ReLU激活函数：
这是由早期激活函数的问题所激发的，但最重要的是速度和它不受梯度消失问题的影响。从那时起，基本上所有顶级神经网络研究都使用ReLU激活或其轻微变体。
唯一的例外可能是循环网络，其中输出被反馈为输入。在这些情况下，使用像ReLU这样的无界激活函数会很快导致结果的爆炸，人们仍然使用Sigmoid和/或Tanh函数。
