我使用torch7构建了一个包含3个隐藏层的 neural network 来处理一个分类问题（3个类别）。但我对使用什么传递函数以及如何使用它们感到困惑。下面是我的网络结构：

net:add(nn.Linear(inputs, hid_1))net:add(nn.Tanh())net:add(nn.Linear(hid_1, hid_2))net:add(nn.Tanh())net:add(nn.Linear(hid_2, hid_3))net:add(nn.Tanh())net:add(nn.Linear(hid_3, outputs))net:add(nn.LogSoftMax())criterion = nn.ClassNLLCriterion()

如上所示，我使用了所有的Tanh()传递函数，这样做正确吗？我可以使用其他传递函数（比如Sigmoid()…）吗？我是否需要在每层之间插入传递函数？

非常感谢。

回答：

如上所示，我使用了所有的Tanh()传递函数，这样做正确吗？

这是正确的，使用任何其他传递函数也是正确的。

我可以使用其他传递函数（比如Sigmoid()…）吗？

是的，你可以使用任何传递函数，每种函数都有其独特的特性，这些特性在Stack Overflow的形式中很难详细表达，不过如今你可能会发现ReLU是使用最广泛的函数之一，尤其是在更深层次的网络中。

我是否需要在每层之间插入传递函数？

是的，如果你不这样做，从数学上讲，你的层会坍缩（连续的线性层至少在最终行为上表现为单一的线性层，尽管训练过程可能有所不同）。