这里是否存在一些隐藏的陷阱？即使是常用的ReLU函数也是max(0,x)，它允许最大值通过，并将负值截断为零。如果我们允许正值和负值同时存在会有什么问题？或者为什么我们在ReLU中将负值截断为零？
回答：
连续的层在功能上意味着叠加：
x -> L1(x) -> L2(L1(x)) -> ...
对于输入x，它会产生L2(L1(x))，即L1和L2的组合。
两个线性层的组合实际上是一个大的线性层，这并不会使模型变得更好。任何应用于层的非线性操作，即使像ReLU这样简单的操作，也能分割空间，从而允许学习复杂的函数。你可以从图片中看到4个ReLU的效果：
当然，你可以在输出层只使用一个非线性函数。但这基本上意味着一个最简单的具有一个隐藏层和一个激活函数的神经网络。虽然它可以近似任何函数，但需要在隐藏层中使用指数级的神经元。增加网络的深度，可以获得非常复杂的表示，并且只需要相对较少的神经元。这就是深度学习发挥作用的地方。
