我根据网上和讲义笔记中找到的各种资源，实现了以下批量梯度下降算法。

这个实现的停止标准并不理想，但对于我的样本来说应该可以工作。

输入：

x = [1,1;1,2;1,3;1,4;1,5];y = [1;2;3;4;5];theta = [0;0];

代码：

tempTheta = [0;0];for c = 1:10000,    for j = 1:2,        sum = 0;        for i = 1:5,            sum = sum + ((dot(theta', x(i, :)) - y(j)) * x(i,j));         end        sum = (sum / 5) * 0.01;        tempTheta(j) = theta(j) - sum;    end    theta = tempTheta;end

预期结果是 theta = [0;1]，但我的实现总是返回 theta = [-3.5, 1.5]。

我尝试了各种alpha值和起始点的组合，但都没有成功。我在哪里犯了错误？

回答：

在这一行

sum = sum + ((dot(theta', x(i, :)) - y(j)) * x(i,j));

你使用了错误的y索引，应该是y(i)，因为j是维度迭代器，不是样本迭代器。

修改后

theta =  -1.5168e-07   1.0000e+00