关于在神经网络中设置权重和偏置，我听到了几种不同的说法，这让我产生了一些疑问：

哪些层使用权重？（我听说输入层不使用权重，还有其他层吗？）

每个层是否有一个全局偏置（每层一个）？还是每个神经元都有自己的偏置？

回答：

在常见的教科书网络中，如多层感知器——回归器中的每个隐藏层和输出层，或者分类器中直到softmax的归一化输出层，都有权重。每个节点都有一个单独的偏置。

我发现有一篇论文对解释这种安排的概念功能特别有帮助：

http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/

本质上，权重和偏置的组合使得网络能够形成中间表示，这些表示是前一层经过任意旋转、缩放和变形（ благод于非线性激活函数）的结果，最终线性化了输入和输出之间的关系。

这种安排也可以用简单的线性代数表达式L2 = sigma(W L1 + B)来表达，其中L1和L2是两个相邻层的激活向量，W是权重矩阵，B是偏置向量，sigma是激活函数，这在数学和计算上都具有一定的吸引力。