在论文中提到神经网络的“参数数量”时，通常是指每一层的权重矩阵和每个带激活函数的单元的偏置？神经网络运行所需的没有其他参数了吗？

当然，还有所谓的超参数，它们定义了层数、每层的单元数量以及这些单元的激活函数——但我们先把它们放在一边。

我的意思是，如果我们有一个非卷积神经网络，参数总数为一千万，这意味着作者计算了网络中使用的权重数量和单元数量（我假设每个单元通常都有偏置，对吗）？

回答：

你需要将网络固有参数与训练参数区分开。对于给定的拓扑结构、激活和累积函数（这就是你所说的超参数），确实只有权重是剩余的网络固有参数。然而，请注意，严格区分这两种参数（“权重”和“超参数”）并没有明确的理由。

此外，还有训练参数，如梯度下降步长的步宽、动量、正则化（或权重衰减）参数、优化函数（通常是最小二乘法），可能还有更多。有些人可能会将它们也包括在参数集中。

因此，我建议你详细查看论文中所称的“参数数量”，因为很难相信在整个文献中这一术语的使用是一致的。