我正在编写使用SGD（随机子梯度下降）来优化向量W的SVM原始形式的代码。

分类方法是sign(w*x + bias)。
我的问题是如何找到最佳的偏置值？
我猜测这应该在优化W的过程中进行，但具体怎么做？我完全没有头绪。

回答：

你的假设是sign(<w, x> + b)，请考虑一下x' = [x 1]，然后你可以将你的假设表示为sign(<w', x'>)，其中w' = [w b]。我希望这清楚地表明b与w没有任何不同（唯一的区别是你的正则化项||w||^2不涉及b）。因此，你只需要d L/ d b，其中L是你的损失函数。