我在C#中实现了Ng的OCR神经网络示例。我认为我已经正确实现了所有公式[向量化版本]，并且我的应用程序正在训练网络。

有什么建议可以让我在训练过程中看到网络在识别方面的改进，而不需要在训练完成后手动绘制测试样本？我想在训练过程中看到训练的进展情况。

我已经在绘制的数字上测试了训练后的权重，所有神经元的输出非常相似（大约是0.077，或者类似这样的数值…在所有神经元上），并且最大值出现在错误的神经元上。因此，结果与绘制的图像不匹配。

这是我目前进行的唯一测试：成本函数随epoch的变化

所以，这是成本函数（有些人称之为目标函数？）在50个epoch中的变化情况。我的Lambda值设置为3.0，学习率为0.01，5000个样本，我在每个epoch后进行批处理，即在这些5000个样本之后。激活函数：sigmoid。

输入：400 隐藏层：25 输出：10

我不知道Lambda和学习率的适当值是多少，以便我的网络能够学习而不发生过拟合或欠拟合。

有什么建议可以让我知道我的网络是否在良好地学习？

此外，经过所有这些训练后，J成本函数应该是什么值？它应该接近零吗？

我应该增加更多的epoch吗？

我的样本按数字排序是否有问题？

任何帮助都将不胜感激。

回答：

Q: 有什么建议可以让我知道我的网络是否在良好地学习？
A: 将数据分为三组：训练、交叉验证和测试。用测试数据验证你的结果。这实际上在课程的后续部分会提到。

Q: 此外，经过所有这些训练后，J成本函数应该是什么值？它应该接近零吗？
A: 我记得在作业中Ng提到了预期值。正则化成本不应该是零，因为它包括了所有权重的总和。

Q: 我应该增加更多的epoch吗？
A: 如果你运行程序足够长的时间（少于20分钟？），你会发现成本不再变小，我认为它已经达到了局部/全局最优，所以不需要更多的epoch。

Q: 我的样本按数字排序是否有问题？
A: 算法会为每个样本修改权重，因此数据的不同顺序确实会影响批处理中的每一步。然而，最终结果应该没有太大差异。