使用Sigmoid神经元替代感知器网络

在我们介绍Sigmoid神经元(使用Sigmoid激活函数的神经元)之前,这个网站提供了一些数学上的详细说明,主要是关于感知器的。http://neuralnetworksanddeeplearning.com/chap1.html

它从感知器开始,继续讨论到Sigmoid神经元。一切看起来不错,但是我无法证明章节后面的第二个问题“用Sigmoid神经元模拟感知器,第II部分”。我很难相信你可以用Sigmoid神经元网络替换感知器网络,而不改变偏置和权重(在这里可以很容易地构造一个反例:对于第三层的权重17、-6、-3和第四层的一个最终神经元,其中b = -3且w = {17, -6}在w.x + b >= 0时,对于{1,0,0}(包括偏置x_0),感知器网络输出0,而Sigmoid网络可以输出1)。

有谁能帮帮我,告诉我我错过了什么或者我哪里做错了?谢谢你。


回答:

不,你不能做到这一点,至少不能在不改变权重的情况下做到。但是Sigmoid是二元阈值单元的连续近似,应该是相似的。页面上是这样说的:

现在用Sigmoid神经元替换网络中的所有感知器,并将权重和偏置乘以一个正常数c>0。证明当c→∞时,这个Sigmoid神经元网络的行为与感知器网络完全相同。

这是正确的。当你将所有权重乘以大值时,Sigmoid单元和阈值单元之间的微小差异会变得越来越小。非常大的输入到Sigmoid中总是会产生0或1。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注