大家好！（或者晚上好）

在CIFAR-10数据集上，使用全连接神经网络（隐藏层少于30层）训练时，误分类误差可以达到多低？

是否有可能达到0.001或0？

您能根据您的经验告诉我吗？

P.S. 我想先让神经网络过拟合，然后调整参数以获得更好的泛化能力…

回答：

由于您没有对隐藏层的宽度设定任何限制，答案很简单 – 0。一个浅层的单隐藏层神经网络（如果有足够的隐藏单元）可以实现0训练误差（在误分类方面），适用于任何有限数据集（只要没有两个样本具有不同的标签）。这是直接来自于UAT（通用逼近定理，来自Cybenko）。当然，实际操作中可能会有所不同，但一般来说，您可以在Cifar10上获得100%的训练准确率。