我刚刚开始学习机器学习，并正在探索不同的算法。我从网上获取了一个二元分类问题，并尝试应用了各种机器学习技术。

首先，我尝试使用朴素贝叶斯分类器，结果成功率约为75%。接着我尝试了逻辑回归，结果惊人的达到了90%的成功率。我对分类器应用了正则化，并在改变Lambda（正则化参数）时，测试了30个值，得到了如下曲线。。红色曲线是训练集，蓝色曲线是验证集。正如你所见，两条曲线的误差随着Lambda的增加而增加。我认为这表明我的假设最初就是欠拟合的，并且随着Lambda的增加，欠拟合变得更严重。这是正确解读这种情况的方式吗？

无论如何，为了解决欠拟合问题，使用一个更复杂的模型是合理的，所以我转而使用了神经网络。我的初始问题有31个特征来描述，我选择了一个具有两个隐藏层且每个隐藏层有10个节点的神经网络。

训练后，我发现它只能正确分类65%的训练数据。这比朴素贝叶斯和逻辑回归还要差。这种情况常见吗？更有可能的是我的神经网络实现有什么问题吗？

有趣的是，神经网络似乎在经过25-30次迭代后就收敛了。我的逻辑回归用了300次迭代才收敛。我也考虑了神经网络可能陷入局部最小值的可能性，但根据我正在学习的Andrew NG的优秀机器学习课程，这种情况不太可能发生。

根据课程的解释，神经网络通常比逻辑回归提供更好的预测，但可能会遇到过拟合的问题。然而，我不认为这里的问题是过拟合，因为65%的成功率是在训练集上测得的。

我需要重新检查我的神经网络实现，还是这可能发生的情况？

回答：

首先，请尝试使用更大的隐藏层，例如每个层200个节点。然后更新你的结果，以便我们可以看到关键问题是什么。

当你使用神经网络对数据进行分类时，它实际上是在适合一个适合执行此任务的向量空间。在这种情况下，假设你的数据有31个维度，至少需要一个32维的空间才能完美地分类你的数据，如果没有样本同时属于正类和负类。因此，如果你在训练集上表现不佳，只需扩大你的神经网络，直到你在训练集上得到100%的结果，然后你可以开始考虑泛化问题。