我是机器学习的新手，我构建了一个具有2个全连接层的 neural network。在实验过程中，我有以下观察：
-
当我减少每个全连接层中的节点数量时，似乎得到了更好的训练和预测准确性。这让我感到惊讶，因为我原本以为全连接层中的节点越多，模型就能更好地理解数据。为什么减少节点数量会提高准确性呢？
-
当每个全连接层的节点数量不一致时，模型也产生了更好的结果。例如，当一个全连接层有5个节点，另一个层有10个节点时，我得到了最佳结果，而不是两个层都具有5个节点或10个节点。这是为什么呢？在全连接层中不一致的节点数量提高准确性是常见的吗？
回答：
依次回答你的问题：
- a) 当你减少每个全连接层中的神经元数量并且得到了更好的训练和准确性时，你减少了问题中的过拟合现象。移除一些神经元的操作就像在你的问题上施加了正则化，从而减轻了过拟合的影响。这并不是一种不常见的情况；根据你的数据集和神经网络的整体架构，减少某些层中的神经元数量可能会更好地泛化你的模型。
b) 如果仅在减少节点数量时训练准确性有所提高，那么答案a)不适用，因为过拟合会增加训练准确性，但会降低测试/保留集的准确性。
- 第二个问题取决于具体情况；在从头开始构建神经网络时，没有保证你的问题会更适合方法A或方法B；这就是为什么我们进行超参数搜索和优化，以便寻找最佳的整体参数，以在验证集上最小化我们的损失。
关于从头开始构建模型时常用的启发式方法，特别是对于全连接层，请参考以下链接： https://towardsdatascience.com/17-rules-of-thumb-for-building-a-neural-network-93356f9930af。其中一些适用于全连接层的启发式方法整体上是可用的；这并不取决于输入是否如你的问题中那样来自LSTM处理。
