我在JavaScript中实现了我的第一个（单变量）线性回归的梯度下降法。

const LEARNING_RATE = 0.000001;let m = 0;let b = 0;const hypothesis = x => m * x + b;const learn = (alpha) => {  if (x.length <= 0) return;  let sum1 = 0;  let sum2 = 0;  for (var i = 0; i < x.length; i++) {    sum1 += hypothesis(x[i]) - y[i];    sum2 += (hypothesis(x[i]) - y[i]) * x[i];  }  b = b - alpha * sum1 / (x.length);  m = m - alpha * sum2 / (x.length);}// repeat until convergence learn(LEARNING_RATE);

假设中的斜率m调整得很快，但y轴上的交点调整需要很长时间。我不得不为b使用不同的学习率才能使其正常工作。

const learn = (alpha) => {  if (x.length <= 0) return;  let sum1 = 0;  let sum2 = 0;  for (var i = 0; i < x.length; i++) {    sum1 += hypothesis(x[i]) - y[i];    sum2 += (hypothesis(x[i]) - y[i]) * x[i];  }  b = b - 100000 * alpha * sum1 / (x.length);  m = m - alpha * sum2 / (x.length);}

有人能指出算法的问题所在吗？可以在GitHub仓库和这篇文章中找到它。

回答：

首先，你需要关注的是到达全局最小值的收敛速度，而不是偏置的变化速度。模型中没有错误（也许你只是忘记了2/N系数，但对于m和b系数，这个参数将是1）。

如你所知，梯度下降法使用预测误差在每次迭代中更新权重。因此，如果你的偏置获得的误差很小，那么更新将带来很小的变化。这是模型的正常行为。

这里有一个很好的解释示例。

附注：自定义学习率的改变可能会导致异常行为和降低到全局最小值的问题。推荐这个课程。