2个神经元的多层神经网络是否与1个神经元相同

AND逻辑和OR逻辑可以仅用1个神经元解决。然而,XOR逻辑需要一个由2层3个神经元组成的人工神经网络:

(neuron1)\          \           +----- (neuron3)          /(neuron2)/

考虑这种形式的神经网络:

(neuron1) ------- (neuron2)

这种仅有2个神经元相互连接的神经网络,是否比单个神经元能更好地解决问题?


回答:

2个神经元可能比1个神经元更强大。

例如,考虑两个使用标准整流非线性 max(0,x)的神经元。

设输入为x。

第一个神经元计算y=max(0,x)

第二个神经元计算z=max(0,1-y)

图表展示了y(绿色)、1-y(红色)、z(蓝色)随x的变化情况。

enter image description here

这表明两个神经元都使用简单的整流器,可以构建一个更复杂的饱和非线性(由蓝线表示)。

单个整流神经元对单一输出进行操作,无法产生蓝线(因为所有此类输出最多有两个线性段,而我们的z输出有三个线性段)。

Related Posts

为什么Keras的早期停止功能在监控值增加时没有停止训练?

我正在尝试训练一个用于回归问题的 neural Net…

LSTM输出Dense层期望2d输入

我的特征形状为(size,2),标签形状为(size,…

coreML 打包图像文件夹和 csv 文件

作为机器学习和 coreML 的新手,我想知道如何通过…

Keras 示例中使用整数序列的词级模型导致`expected ndim=3, found ndim=4`错误

我正在尝试实现Keras博客中列出的奖励部分 -> 如…

为什么Tensorflow不会保存run_metadata?

我只是试图生成一个摘要来显示run_metadata,…

神经网络在第一次训练后产生NaN

我的神经网络在第一次训练后输出很快就变成了全部NaN。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注