目前我正在学习神经网络，并尝试创建一个可以训练识别手写字符的应用程序。对于这个问题，我使用了前馈神经网络，当我训练它识别1、2或3个不同字符时，它似乎工作得很好。但是，当我尝试让网络学习超过3个字符时，错误率会在40%到60%之间停滞不前。
我尝试了多层和减少/增加神经元的数量，但似乎都无法解决问题，现在我在想前馈神经网络是否能够识别那么多的信息。
一些统计数据：
网络类型： 前馈神经网络
输入神经元： 100（使用10×10的网格来绘制字符）
输出神经元： 要识别的字符数量
是否有人知道我的架构中可能存在的缺陷？输入神经元是否过多？前馈神经网络是否不适合字符识别？
回答：
对于手写字符识别，你需要
- 许多训练样本（也许你应该对你的训练集进行变形处理）
- 输出层使用softmax激活函数
- 交叉熵误差函数
- 使用随机梯度下降进行训练
- 每层都有一个偏置
一个好的测试问题是手写数字数据集MNIST。以下是成功应用神经网络于该数据集的论文：
Y. LeCun, L. Bottou, Y. Bengio 和 P. Haffner：应用于文档识别的基于梯度的学习，http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf
Dan Claudiu Ciresan, Ueli Meier, Luca Maria Gambardella, Juergen Schmidhuber：深度大规模简单神经网络在手写数字识别上的卓越表现，http://arxiv.org/abs/1003.0358
我训练了一个784-200-50-10架构的多层感知器（MLP），在测试集上获得了超过96%的准确率。
