我是神经网络的新手。我在多个平台上跟随了一些教程，但有一件事我不明白。

在一个简单的多层感知器中：我们有输入层，一个隐藏层（在这个例子中，隐藏层的neurons数量与输入层相同）和一个输出层，输出层有一个单元。

我们随机初始化隐藏层单元的权重，但权重值在一个小的范围内。现在，输入层与隐藏层完全连接。因此，隐藏层的每个单元都将接收到相同的参数。它们如何彼此提取不同的特征呢？

谢谢您的解释！

回答：

我们随机初始化隐藏层单元的权重，但权重值在一个小的范围内。现在，输入层与隐藏层完全连接。因此，隐藏层的每个单元都将接收到相同的参数。它们如何彼此提取不同的特征呢？

实际上，每个神经元的值并不会相同。要得到隐藏层的激活值，你需要使用矩阵方程Wx + b。在这种情况下，W是形状为（隐藏层大小，输入层大小）的权重矩阵。x是隐藏层的输入向量，形状为（输入层大小），b是形状为（隐藏层大小）的偏置。这将产生形状为（隐藏层大小）的激活值。因此，虽然每个隐藏层神经元都“看到”相同的x向量，但它将使用自己的随机行向量与x进行点积运算，并加上自己的随机偏置，这将使该神经元的值不同。W矩阵和b向量中包含的值是经过训练和优化的。由于它们有不同的起点，它们最终将通过梯度下降学习到不同的特征。