我对激活函数以及博客/帖子中不断提到的神经元未被激活或未被触发感到有些困惑。

但从数学角度来说，如果任何激活函数（无论是sigmoid、tanh还是relu）计算出的输出为0，这个值不是仍然会传递给下一层的所有连接神经元吗？如果是这样的话，这不是意味着这个神经元仍然在激活/触发吗？

还是我理解错了，神经元确实没有触发，并且确实没有向下一层的任何连接神经元提供任何值？这在数学上是如何运作的？

回答：

诸如未被激活和未被触发的表达，以及神经元这个术语本身，都是比喻性的描述，不应被字面理解。它们只是用来口头描述机器学习中使用的（人工）神经网络与生物体实际神经网络之间的（非常）松散类比，仅此而已。

正如你正确怀疑的那样，在这种情况下，“神经元”确实会产生0的输出值并在网络中传播。因为，实际上，那里没有任何神经元，只有计算机程序中的变量，这些变量必须在任何时候都有一个值，这既是出于数学原因，也是出于计算原因。