最近我在进行深度学习的文献综述。Hinton在他的论文中http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf http://www.cs.toronto.edu/~hinton/science.pdf使用了一个784*500*500*2000*10大小的网络来展示基于RBM的预训练和在MNIST数据集上使用BP进行微调。我们选择在后续隐藏层中使用相同数量的隐藏单元（500）并在最后一层增加数量（2000）是否有特定的原因？一般来说，根据数据集如何选择RBM的隐藏层/单元（除了Hinton的RBM手册之外的实践经验）。
这个问题对我来说长期以来一直是个脑筋急转弯。我会很感激得到答案的。
回答：
请查看我的硕士论文，第三章。
一般来说，关于网络架构并没有严格的规则可循。这其中包含了很多经验。例外情况是输入层（特征数量 = 神经元数量）和输出层（在分类中：类别数量 = 神经元数量）。
然而，似乎有几个趋势/经验法则：
- 对于全连接层，使用“不太少”的神经元，但不超过上一层的约3倍
- 如果你使用CNN，dropout非常重要。然后你可以有许多层/神经元，并希望dropout能防止过拟合
- 自动拓扑创建：我很少看到它们被使用。
- 增长方法：有像Cascade Correlation / Meiosis网络这样的策略，从一个小网络开始并使其变大。
- 修剪方法：有像Optimal Brain Damage / Optimal Brain Surgeon这样的策略，从一个大网络开始并使其变小。
- 遗传方法：NEAT（增强拓扑的神经进化）
- 当你想以无监督的方式使用大量未标记数据时，瓶颈层用于（去噪）自编码器。我见过几次这种情况。
