2个神经元的多层神经网络是否与1个神经元相同

AND逻辑和OR逻辑可以仅用1个神经元解决。然而,XOR逻辑需要一个由2层3个神经元组成的人工神经网络:

(neuron1)\          \           +----- (neuron3)          /(neuron2)/

考虑这种形式的神经网络:

(neuron1) ------- (neuron2)

这种仅有2个神经元相互连接的神经网络,是否比单个神经元能更好地解决问题?


回答:

2个神经元可能比1个神经元更强大。

例如,考虑两个使用标准整流非线性 max(0,x)的神经元。

设输入为x。

第一个神经元计算y=max(0,x)

第二个神经元计算z=max(0,1-y)

图表展示了y(绿色)、1-y(红色)、z(蓝色)随x的变化情况。

enter image description here

这表明两个神经元都使用简单的整流器,可以构建一个更复杂的饱和非线性(由蓝线表示)。

单个整流神经元对单一输出进行操作,无法产生蓝线(因为所有此类输出最多有两个线性段,而我们的z输出有三个线性段)。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注