我有一个简单的2个输入神经元，3个隐藏神经元和1个输出神经元的神经网络。隐藏层有偏置项。

我没有使用矩阵运算来进行前馈和反向传播。当我在一个简单的线性数据集上运行训练函数时，误差增加，并且预测结果是错误的。

...

例如，代码的结果是：

...

—————- 更新 —————-

我将代码改成了这样：

...

我现在用权重误差减去权重。网络的误差减少了。但预测仍然是错误的。

上述代码的结果：

...

回答：

我找到了问题所在，sigmoid函数对这个网络来说不太合适。我将其改为tanh函数，现在预测结果正确了。

最终代码如下：

...

代码的结果：

...