我正在进行一个博士项目，目标是减少地球上的CO2排放。

我有一组数据，并且成功实现了一个CNN，在最坏的情况下准确率达到80%。然而，我所在的领域要求很高，我觉得通过一个优化良好的CNN可以获得更高的准确率。

专家们是如何设计CNN的？我该如何在Inception模块、Dropout正则化、Batch Normalization、卷积滤波器大小、卷积通道的大小和深度、全连接层的数量、激活神经元等之间做出选择？人们如何以科学的方式应对这一庞大的优化问题？组合是无穷无尽的。有没有现实生活中的例子展示如何应对这一问题，解决其全部复杂性（而不仅仅是优化几个超参数）？

希望我的数据集不太大，所以我考虑的CNN模型应该只有很少的参数。

回答：

专家们是如何设计CNN的？我该如何在Inception模块、Dropout正则化、Batch Normalization、卷积滤波器大小、卷积通道的大小和深度、全连接层的数量、激活神经元等之间做出选择？人们如何以科学的方式应对这一庞大的优化问题？组合是无穷无尽的。

你说的没错，组合的数量确实庞大。如果方法不当，你可能无功而返。有人曾说过，机器学习是一门艺术，而非科学。结果取决于数据。以下是关于你上述担忧的一些建议。

• 记录一切：在训练过程中，保存每个实验的必要日志，如训练损失、验证损失、权重文件、执行时间、可视化等。其中一些可以用CSVLogger、ModelCheckpoint等保存。TensorBoard是检查训练日志和可视化的好工具，还有更多功能。

• 强有力的验证策略：这非常重要。为了建立稳定的交叉验证（CV），我们必须对数据及其面临的挑战有很好的理解。我们将检查并确保验证集与训练集和测试集具有相似的分布。我们将努力确保我们的模型在交叉验证和测试集上都有所改进（如果测试集有gt可用）。通常，随机划分数据是不足以满足这一要求的。理解数据以及如何在不引入数据泄露的情况下划分数据，是避免过拟合的关键。

• 一次只改变一个：在实验过程中，一次只改变一件事，并保存对这些变化的观察（logs）。例如：逐渐将图像大小从224（例如）增加到更大，并观察结果。我们应该从小的组合开始。在实验图像大小的时候，固定其他如model架构、learning rate等。对于learning rate部分或model架构也是如此。然而，当我们找到一些有前景的组合时，我们也可能需要同时改变多个。在Kaggle竞赛中，这些是很常见的方法之一。下面是一个非常简单的例子，但不受任何限制。