我阅读了一些关于卷积神经网络的论文，发现几乎所有的论文都将普通CNN中的全连接层称为“顶层”。

然而，正如大多数论文所展示的，典型的CNN具有自顶向下的结构，而全连接层通常在其后接一个softmax分类器，被放置在网络的底部。那么，为什么我们称它们为“顶层”呢？这是不是一种惯例，还是有我不知道的其他考虑因素？

回答：

我认为这只是个人喜好的问题，但称之为“顶层”与神经网络中“头部”的概念有关。人们说“分类头”和“回归头”，指的是神经网络的输出层（这种术语在tf.estimator.Estimator中使用，也可参见这里和这里的讨论）。如果你这样看，头部之前的层就是顶层，而输入层则是底层。无论如何，当提到“顶层”时，你应该仔细核实具体指的是哪些层。