我一直在尝试自己实现一个简单的线性回归算法，但在梯度下降方面遇到了麻烦。

这是我编写的代码：

def gradientDescentVector(data, alpha, iterations):    a = 0.0    b = 0.0    X = data[:,0]    y = data[:,1]    m = data.shape[0]    it = np.ones(shape=(m,2))    for i in range(iterations):        predictions = X.dot(a).flatten() + b        errors_b = (predictions - y)        errors_a = (predictions - y) * X        a = a - alpha * (1.0 / m) * errors_a.sum()        b = b - alpha * (1.0 / m) * errors_b.sum()    return a, b

我知道这种方法在变量增多时不会很好地扩展，但我只是先尝试简单的版本，然后再继续深入研究。

我参考了Coursera机器学习课程中的梯度下降算法：

但在特定数据集上，大约90次迭代后，我得到了无穷大的值，到目前为止我还没有搞明白这是怎么回事。

在了解numpy的广播功能之前，我尝试过逐个值进行迭代，结果也是一样的。

如果有人能提供一些关于问题可能出在哪里的见解，那就太好了。

回答：

显然，参数正在偏离最优值。一个可能的原因是你使用的学习率（“alpha”）值太大。试着降低学习率。这里有一个经验法则。从一个小的值开始，比如0.001。然后尝试将学习率增加到之前的三倍。如果这样做可以减少均方误差（或你使用的任何误差函数），那就没问题。如果不行，尝试在0.001和0.003之间取一个值。接下来，如果后者成立，那么递归地尝试这一过程，直到达到满意的均方误差为止。