我有一个包含4个隐藏层的函数拟合网络。

我需要为第一和第三层找到合适的权重，而第二和第四层是某种归一化层，不需要学习，因此我通过将它们的学习率设置为零来冻结它们。

我的问题是：

我是否应该为这两个冻结层定义反向函数？

我在caffe中看到，没有可学习参数的池化层也有反向函数。

提前感谢，

回答：

是的，你需要进行反向传递，否则你的学习将在这个层停止（下面的层将无法学习）。即使对于不可学习的层，你也需要计算有效梯度。