使用Sigmoid神经元替代感知器网络

在我们介绍Sigmoid神经元(使用Sigmoid激活函数的神经元)之前,这个网站提供了一些数学上的详细说明,主要是关于感知器的。http://neuralnetworksanddeeplearning.com/chap1.html

它从感知器开始,继续讨论到Sigmoid神经元。一切看起来不错,但是我无法证明章节后面的第二个问题“用Sigmoid神经元模拟感知器,第II部分”。我很难相信你可以用Sigmoid神经元网络替换感知器网络,而不改变偏置和权重(在这里可以很容易地构造一个反例:对于第三层的权重17、-6、-3和第四层的一个最终神经元,其中b = -3且w = {17, -6}在w.x + b >= 0时,对于{1,0,0}(包括偏置x_0),感知器网络输出0,而Sigmoid网络可以输出1)。

有谁能帮帮我,告诉我我错过了什么或者我哪里做错了?谢谢你。


回答:

不,你不能做到这一点,至少不能在不改变权重的情况下做到。但是Sigmoid是二元阈值单元的连续近似,应该是相似的。页面上是这样说的:

现在用Sigmoid神经元替换网络中的所有感知器,并将权重和偏置乘以一个正常数c>0。证明当c→∞时,这个Sigmoid神经元网络的行为与感知器网络完全相同。

这是正确的。当你将所有权重乘以大值时,Sigmoid单元和阈值单元之间的微小差异会变得越来越小。非常大的输入到Sigmoid中总是会产生0或1。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注