我目前正在进行MNIST手写数字分类工作。
我构建了一个具有以下结构的单一前馈网络：
- 输入： 28×28 = 784个输入
- 隐藏层： 一个包含1000个神经元的隐藏层
- 输出层： 10个神经元
所有神经元都使用Sigmoid激活函数。
报告的类别是输出值最大的输出神经元对应的类别
我的问题是：
- 创建一个具有多个输出的单一网络是否是一个好的方法？即，我是否应该为每个数字创建一个独立的网络？
我提出这个问题，是因为目前网络的成功率停留在约75%。由于实际上“10个分类器”共享隐藏层的相同神经元——我不确定——这是否会降低网络的学习能力？
** 编辑： **
由于其他人可能会参考这个讨论，我希望诚实地更新一下，75%的成功率是在大约1500个周期之后。现在经过近3000个周期，成功率达到了约85%——所以效果相当不错
回答：
简而言之，是的，使用一个具有多个输出的单一网络是一个好方法。第一个隐藏层在你的特征空间中描述决策边界（超平面），多个数字可以从一些相同的超平面中受益。虽然你可以为每个数字创建一个ANN，但这种一对多方法不一定能带来更好的结果，并且需要训练10倍的ANNs（每个可能需要多次训练以避免局部最小值）。如果你有数百或数千个数字，那么这样做可能更有意义。
对于这个问题，一个隐藏层中有1000个神经元似乎太多了。我认为通过减少这个数字并添加第二个隐藏层，你可能会在手写数字识别上取得更好的结果。这将使你能够在输入特征空间中建模更复杂的组合边界。例如，可以尝试像784x20x20x10这样的网络结构。
如果你确实要尝试不同的网络结构，通常最好从较少的层和神经元开始，然后增加复杂性。这不仅能减少训练时间，还能避免立即过拟合数据（你没有提到你的准确率是针对训练集还是验证集的）。
