在我们介绍Sigmoid神经元(使用Sigmoid激活函数的神经元)之前,这个网站提供了一些数学上的详细说明,主要是关于感知器的。http://neuralnetworksanddeeplearning.com/chap1.html
它从感知器开始,继续讨论到Sigmoid神经元。一切看起来不错,但是我无法证明章节后面的第二个问题“用Sigmoid神经元模拟感知器,第II部分”。我很难相信你可以用Sigmoid神经元网络替换感知器网络,而不改变偏置和权重(在这里可以很容易地构造一个反例:对于第三层的权重17、-6、-3和第四层的一个最终神经元,其中b = -3且w = {17, -6}在w.x + b >= 0时,对于{1,0,0}(包括偏置x_0),感知器网络输出0,而Sigmoid网络可以输出1)。
有谁能帮帮我,告诉我我错过了什么或者我哪里做错了?谢谢你。
回答:
不,你不能做到这一点,至少不能在不改变权重的情况下做到。但是Sigmoid是二元阈值单元的连续近似,应该是相似的。页面上是这样说的:
现在用Sigmoid神经元替换网络中的所有感知器,并将权重和偏置乘以一个正常数c>0。证明当c→∞时,这个Sigmoid神经元网络的行为与感知器网络完全相同。
这是正确的。当你将所有权重乘以大值时,Sigmoid单元和阈值单元之间的微小差异会变得越来越小。非常大的输入到Sigmoid中总是会产生0或1。