我目前正在进行一个支持向量机（SVM）项目。我正在研究的SVM版本是原始形式的线性SVM，我很难理解从哪里开始着手。

总的来说，我认为我理解了理论；基本上，我需要在一定约束条件下最小化w的范数。拉格朗日函数将成为我需要最小化的目标函数（在应用拉格朗日乘数之后）。

我不理解的是，我的教授告诉我我们将使用拟牛顿方法和BFGS更新。我已经尝试了牛顿方法的二维和三维情况，我认为我对该算法有很好的掌握，但我不知道拟牛顿方法是如何应用于寻找alpha系数的。此外，我迄今为止阅读的许多文献都建议使用二次规划来寻找系数。

拟牛顿的迭代算法与寻找w的系数有什么关系？二次规划与拟牛顿方法又有什么关系？谁能帮我解释一下这是怎么回事？

回答：

你在这里混淆了很多事情

• “alpha系数”仅存在于对偶形式中，因此在你的情况下你不会找到它们
• “应用二次规划”，二次规划是一个问题，而不是解决方案。你不能”应用QP”，你只能解决一个QP，在你的情况下将使用拟牛顿方法来解决
• “如何（…）与寻找w的系数相关”，这与寻找任何函数的最优系数的优化技术相关的方式完全相同。你将要最小化w的函数，因此应用任何优化技术（特别是拟牛顿）将导致以w系数表达的解决方案