我正在研究一个前馈神经网络（用于分类问题），我使用PSO来训练它。我只有一个隐藏层，并且可以调整该层中神经元的数量。
我的问题是，NN可以很容易地学习线性可分的问题，但无法像预期的那样学习非线性可分的问题（如XOR）。
我认为我的PSO运作正常，因为我可以看到它试图最小化每个粒子的误差函数（使用训练集上的均方误差）。
我尝试使用了S形和线性激活函数，结果相似（都很差）。我还使用了一个偏置单元（但这也没多大帮助）。
我想知道是否有我可能做错的具体事情，导致了这种类型的问题，或者我应该检查哪些可能出错的地方。
我现在有点迷茫
谢谢
回答：
PSO可以训练神经网络来解决非线性可分的问题，如XOR。我之前做过这个，我的算法最多大约需要50次迭代。S形函数是XOR的一个好激活函数。如果它确实无法收敛于非可分问题，我猜测可能是你的隐藏层没有起作用，或者被绕过了。因为通常是隐藏层使得非线性可分成为可能。
当我调试AI时，我发现首先确定是我的训练代码还是评估代码（在这种情况下是神经网络）有问题通常很有用。你可能想要为你的网络创建第二个训练器。然后你可以确保你的网络代码正确计算输出。你甚至可以做一个简单的“爬山法”。随机选择一个权重，并随机地稍微改变（向上或向下）。你的误差变好了吗？保留权重变化并重复。你的误差变差了，丢弃变化并重新尝试。
