AND逻辑和OR逻辑可以仅用1个神经元解决。然而,XOR逻辑需要一个由2层3个神经元组成的人工神经网络:
(neuron1)\ \ +----- (neuron3) /(neuron2)/
考虑这种形式的神经网络:
(neuron1) ------- (neuron2)
这种仅有2个神经元相互连接的神经网络,是否比单个神经元能更好地解决问题?
回答:
2个神经元可能比1个神经元更强大。
例如,考虑两个使用标准整流非线性 max(0,x)的神经元。
设输入为x。
第一个神经元计算y=max(0,x)
第二个神经元计算z=max(0,1-y)
图表展示了y(绿色)、1-y(红色)、z(蓝色)随x的变化情况。
这表明两个神经元都使用简单的整流器,可以构建一个更复杂的饱和非线性(由蓝线表示)。
单个整流神经元对单一输出进行操作,无法产生蓝线(因为所有此类输出最多有两个线性段,而我们的z输出有三个线性段)。