我在Python中实现神经网络来训练手写数字。以下是成本函数，

在log(1-(h(x))中，如果h(x)为1，那么它将导致log(1-1)，即log(0)。因此，我遇到了数学错误。

我将权重初始化在10到60之间。我不确定该在哪里进行更改以及应该进行什么更改！

回答：

在这个公式中，h(x)通常是一个sigmoid函数：h(x)=sigmoid(x)，所以它永远不会精确等于1.0，除非网络中的激活值过大（这本身就是问题，会引起其他问题）。同样的问题也可能出现在log(h(x))中，当h(x)=0时，即当x为一个很大的负数时。

如果你不想担心数值问题，可以在计算对数之前加上一个很小的数：log(h(x) + 1e-10)。

其他问题：

• 在[10, 60]范围内初始化权重看起来不太对，它们最好是小的随机数，例如从[-0.01, 0.01]中选取。
• 上面的公式计算的是二元交叉熵损失。如果你在处理MNIST数据集，它有10个类别，所以损失必须是多类交叉熵。有关详细信息，请参见这个问题。