我想问以下问题:我正在尝试使用反向传播来训练一个人工神经网络。我有一个前馈神经网络,具有6个输入层、7个隐藏层和1个输出层。我将向这个神经网络提供由6个特征组成的特征向量并进行训练,我的学习率为0.7,动量为0.9。我希望根据这6个特征进行二分类。问题是这个网络的总体误差没有变化… 我尝试了不同的学习率和动量值,但问题依然存在… 我不知道为什么会这样。我使用相同的代码(我是指主要类)尝试学习一个解决异或问题的ANN,它在那儿运行得很完美。有人知道这是为什么吗?感谢您的宝贵时间
FeedforwardNetwork network = new FeedforwardNetwork();Train train; network.AddLayer(new FeedforwardLayer(6)); network.AddLayer(new FeedforwardLayer(7)); network.AddLayer(new FeedforwardLayer(1)); train = new Backpropagation(network, Input_vector, Ideal_vector, 0.7, 0.8); int epoch = 1; textBox7.Text = " 已经开始\r\n"; do { train.Iteration(); textBox7.Text += "\r\n 第 " + epoch + " 轮 误差 " + train.Error + " \r\n "; epoch++; } while ((epoch < 500) && (train.Error > 0.001)); network = train.Network; textBox7.Text += "神经网络结果"; for (int i = 0; i < Ideal_vector.Length; i++) { double[] actual = network.ComputeOutputs(Input_vector[i]); textBox7.Text += "\r\n" + Input_vector[i][0] + "," + Input_vector[i][1] + "," + Input_vector[i][2] + "," + Input_vector[i][3] + Input_vector[i][4] + Input_vector[i][5] + " 实际值= " + actual[0] + ", 理想值 " + Ideal_vector[i][0] + " \r\n"; }
回答:
您的主要函数没有问题。然而,您的训练向量或反向传播代码可能存在问题(假设您的网络足够大可以学习这个)。因此,这将是一系列问题而不是答案,但您可能会得到正确的思路:
- 您的训练向量包含多少样本?
- 这些样本大致上是否半半分类,或者是否存在偏见?
- 是否有相同的训练样本被模糊分类?
- 误差是如何计算的?绝对值/平方平均?
- 您是否随机化了初始网络权重?
- 训练前的初始误差是多少?
- 误差在第一轮迭代中是否有变化?
- 您能将代码发布到pastebin上吗?