我想问一个关于在CNN中Dense层使用的神经元数量的问题。我观察到通常在Dense层中使用16、32、64、128、256、512、1024、2048个神经元。那么在输出层之前，降序还是升序排列更好呢？

例如

model.add(Dense(2048,kernel_regularizer='l2' ,activation='relu'))model.add(Dense(1024,kernel_regularizer='l2' ,activation='relu'))model.add(Dense(512,kernel_regularizer='l2' ,activation='relu'))model.add(Dense(128,kernel_regularizer='l2' ,activation='relu'))

或者

model.add(Dense(128,kernel_regularizer='l2' ,activation='relu'))model.add(Dense(512,kernel_regularizer='l2' ,activation='relu'))model.add(Dense(1024,kernel_regularizer='l2' ,activation='relu'))model.add(Dense(2048,kernel_regularizer='l2' ,activation='relu'))

能否提供一个带有解释的答案？谢谢

回答：

TLDR:

你可以使用这两种方式中的任何一种，但这取决于许多标准。

较长的解释:

你可以使用这两种方式中的任何一种，但它们会带来不同的影响。基本上，你希望随着特征图大小的减少，神经元的数量增加，以保持几乎相同的表示能力。这也是在开发更抽象的特征时的情况，我稍后会详细讨论。
这就是为什么在很多论文中，你会看到他们在网络的开始使用较少的神经元，并逐渐增加的原因。
这种做法的直觉是，早期的层处理的是原始概念，因此在某一点之后，拥有大量的神经元并不会真正有益。但随着你深入网络，抽象层次变得越来越丰富，你希望能够捕捉尽可能多的信息，并更好地创建新的、更高、更丰富的抽象。这就是为什么你会随着网络的深入增加神经元数量的原因。

另一方面，当你到达网络的末端时，你希望从迄今为止开发的所有特征中选择最佳的特征，因此你开始逐渐减少神经元的数量，希望最终得到对你的特定任务最重要的特征。

不同的架构设计有不同的影响，并且基于对手中任务的不同直觉。你需要根据你的需求选择最佳策略。