我没有完全理解关于第二点的提问。将相同的激活函数应用于所有层是否是解决任务的好方法，或者对于不同的层应用不同的激活函数是否会是更好的解决方案？应用Sigmoid函数是否是一个好的选择？在中间层使用Sigmoid函数是否是一个好的选择？
回答：
您可以尝试许多不同的人工神经网络架构变体。这里没有最优选择架构的固定规则，这是一个经验性的情况。请查看这些链接：
这是文章中的一个片段：
现在，该使用哪些激活函数呢。这是否意味着我们可以对所有事情都使用ReLu？或者使用Sigmoid或Tanh？答案是肯定的，也是否定的。当您知道您试图近似的函数具有某些特征时，您可以选择一个激活函数来更快地近似该函数，从而加速训练过程。例如，Sigmoid函数对于分类器来说效果很好（看Sigmoid的图表，它不是展示了理想分类器的特性吗？），因为将分类器函数近似为Sigmoid的组合比使用ReLu更容易，这将导致更快的训练过程和收敛。您也可以使用自己的自定义函数！如果您不知道您试图学习的函数的性质，那么我建议从ReLu开始，然后倒推。ReLu大多数时候都可以作为一个通用近似器！
无论如何，我会在隐藏层中选择Sigmoid函数，在输出层中选择线性函数
