PyBrain: 为什么PyBrain神经网络无法学习分类XOR?

我有以下代码:

from pybrain.datasets import SupervisedDataSetfrom pybrain.supervised.trainers import BackpropTrainerfrom pybrain.tools.shortcuts import buildNetworkfrom pybrain.structure import TanhLayer ds = SupervisedDataSet(2, 1)ds.addSample((0, 0), (0,))ds.addSample((0, 1), (1,))ds.addSample((1, 0), (1,))ds.addSample((1, 1), (0,))net = buildNetwork(2, 3, 1, bias=True, hiddenclass=TanhLayer)trainer = BackpropTrainer(net, ds)trainer.trainUntilConvergence()print '0,0 : {0}'.format(net.activate([0, 0]))print '0,1 : {0}'.format(net.activate([0, 1]))print '1,0 : {0}'.format(net.activate([1, 0]))print '1,1 : {0}'.format(net.activate([1, 1]))

我得到的输出总是收敛到与XOR不同的结果。例如,我得到的一个输出是:

0,0 : [ 1.33865922]0,1 : [ 0.78127428]1,0 : [ 0.8318278]1,1 : [ 0.48067]

回答:

成功解决了这个问题。分享解决方案给你,你也可以使用:

我没有使用trainer.trainUntilCovergence(),而是调用了trainer.train() K次(我使用了K=1000),这样就有效了

我的代码的改动:

#trainer.trainUntilConvergence()for i in xrange(1000):    trainer.train()

输出的变化:

0,0 : [ 0.00347109]0,1 : [ 0.99712772]1,0 : [ 0.99725655]1,1 : [ 0.00121727]

请注意,当我使用不够的迭代次数(例如100次)时,我得到了错误的输出

添加@dnth评论的一个重要说明:

trainUntilConvergence()方法不起作用的原因是,该方法会将你的数据分为75%的训练数据和25%的验证数据。由于你只有4个样本数据用于XOR问题,其中1个数据被拿出来作为验证数据,训练仅在剩余的3个数据上进行。因此,网络找到的解决方案很差,因为训练数据对于XOR的所有情况是不完整的

(验证集 == 测试集)

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注