我在尝试运行梯度下降算法，但使用完全相同的数据时，无法得到与Octave内置的fminunc函数相同的结果。

我的代码如下：

%for 5000 iterationsfor iter = 1:5000%%Calculate the cost and the new gradient[cost, grad] = costFunction(initial_theta, X, y);%%Gradient = Old Gradient - (Learning Rate * New Gradient)initial_theta = initial_theta - (alpha * grad);end 

其中，costFunction函数根据给定的示例（X,y）和参数（theta）计算成本和梯度。

Octave内置的fminunc函数同样调用costFunction，并且使用相同的数据，在远少的迭代次数下找到了一个更好的答案。

由于Octave使用了相同的成本函数，我认为costFunction是正确的。

我尝试过降低学习率以避免陷入局部最小值，并增加迭代次数，但成本不再下降，看起来似乎已经找到了最小值，但最终的theta值仍然具有更大的成本，并且精度远不及预期。

即使fminunc使用了更好的算法，梯度下降在足够的迭代次数和较小的学习率下最终应该能找到相同的结果吗？

或者有人能看出我哪里做错了？

感谢所有帮助。

回答：

你的评论是错误的，但算法是好的。

在梯度下降中很容易遇到数值问题，因此我建议进行特征归一化处理。

另外，如果你对学习率不确定，可以尝试动态调整它。类似于这样：

best_cost = Inf;best_theta = initial_theta;alpha = 1;for iter = 1:500  [cost, grad] = costFunction(best_theta, X_reg, y);  if (cost < best_cost)    best_theta = best_theta - alpha * grad;    best_cost = cost;  else    alpha = alpha * 0.99  endend

此外，请记住，不同的答案可能产生相同的决策边界。例如，对于假设h(x) = x(0) + theta(1) * x(1) + theta(2) * x(2)，以下这些答案给出了相同的边界：

theta = [5, 10, 10];theta = [10, 20, 20];