我一直在跟随Ng教授的讲座，并尝试在我的Jupyter笔记本上使用Tensorflow实现SVM。然而，我的模型似乎没有正确地收敛。

我猜我的损失函数可能有问题，这可能会导致模型不正确地拟合。

以下是我模型的完整图构建代码：

tf.reset_default_graph()#training hyper parameterslearning_rate = 0.000001C = 20gamma = 50X = tf.placeholder(tf.float32, shape=(None,2))Y = tf.placeholder(tf.float32, shape=(None,1))landmark = tf.placeholder(tf.float32, shape=(None,2))W = tf.Variable(np.random.random((num_data)),dtype=tf.float32)B = tf.Variable(np.random.random((1)),dtype=tf.float32)batch_size = tf.shape(X)[0]#RBF Kerneltile = tf.tile(X, (1,num_data))diff = tf.reshape( tile, (-1, num_data, 2)) - landmarktile_shape = tf.shape(diff)sq_diff = tf.square(diff)sq_dist = tf.reduce_sum(sq_diff, axis=2)F = tf.exp(tf.negative(sq_dist * gamma))WF = tf.reduce_sum(W * F, axis=1) + Bcondition = tf.greater_equal(WF, 0)H = tf.where(condition,  tf.ones_like(WF),tf.zeros_like(WF))ERROR_LOSS = C * tf.reduce_sum(Y * tf.maximum(0.,1-WF) + (1-Y) * tf.maximum(0.,1+WF))WEIGHT_LOSS = tf.reduce_sum(tf.square(W))/2TOTAL_LOSS = ERROR_LOSS + WEIGHT_LOSSoptimizer = tf.train.GradientDescentOptimizer(learning_rate)train = optimizer.minimize(TOTAL_LOSS)

我使用的是高斯核函数，并将整个训练集作为地标输入。

我的损失函数与讲座中展示的完全相同，只要我的实现是正确的。

我非常确定我遗漏了一些东西。

回答：

请注意，核矩阵应该有batch_size^2个条目，而你的张量WF的形状是(batch_size, 2)。想法是计算数据集中每对(x_i, x_j)的K(x_i, x_j)，然后将这些核值用作SVM的输入。

我使用的是Andrew Ng的SVM讲义作为参考；在第20页，他推导了最终的优化问题。你需要用你的核函数替换掉内积<x_i, x_j>。

我建议你从线性核开始，而不是RBF，并将你的代码与像sklearn这样的现成SVM实现进行比较。这将帮助你确保你的优化代码正常工作。

最后一点：虽然理论上可以使用梯度下降来训练SVM，但在实践中几乎从不这样做。SVM优化问题可以通过二次规划来解决，大多数训练SVM的方法都利用了这一点。