据我所知，在深度神经网络中，我们在应用权重（w）和偏置（b）后使用激活函数（g）(z := w * X + b | a := g(z))。因此，有一个组合函数(g o z)，激活函数使得我们的模型可以学习到非线性函数。我明白Sigmoid和Tanh激活函数使得我们的模型非线性，但我不太理解ReLU（它取0和z的最大值）如何使得模型非线性…

假设如果每个Z总是正的，那么就好像没有激活函数…

那么为什么ReLU使得神经网络模型非线性呢？

回答：

判断一个函数是否为线性当然不是意见或辩论的问题；有一个非常简单的定义来判断一个函数是否为线性，大致是：

f(a*x + b*y) = a*f(x) + b*f(y)

对于函数域中的每一个x和y以及常数a和b。

“对于每一个”的要求意味着，如果我们能找到哪怕一个例子，上述条件不成立，那么该函数就是非线性的。

为了简化起见，假设a = b = 1，让我们尝试x=-5, y=1，其中f是ReLU函数：

f(-5 + 1) = f(-4) = 0f(-5) + f(1) = 0 + 1 = 1

因此，对于这些x和y（实际上对于所有x和y，其中x*y < 0），条件f(x + y) = f(x) + f(y)不成立，因此该函数是非线性的…

我们可能能够找到子域（例如x和y都为负或都为正），在这些子域中线性条件成立，这定义了一些函数（如ReLU）为分段线性，尽管如此，这些函数仍然是非线性的。

公平地说，如果在特定应用中，输入总是全部为正或全部为负，那么是的，在这种情况下，ReLU实际上会表现得像线性函数。但对于神经网络来说，情况并非如此，因此我们确实可以依赖它来提供我们所需的非线性…