在我看来，ReLU激活函数通常非常有效。而leaky ReLU解决了它的主要缺点（即死亡神经元问题）。

除了输出层需要使用tanh、softmax或sigmoid的情况外，是否有任何理由不使用leaky ReLU？（我知道ReLU在计算上比leaky ReLU更快，但为了获得更好的模型，花费一些额外的时间是值得的）

回答：

对于大多数应用来说，leaky_relu已经足够好，但也有有效的替代方案。请记住，即使是leaky_relu也有其自身的缺点，比如需要调节一个新的参数alpha。

这篇文章解释了标准ReLU的各种替代方案，并为每一种提供了优缺点分析：