def gradient(X_norm,y,theta,alpha,m,n,num_it):
    temp=np.array(np.zeros_like(theta,float))
    for i in range(0,num_it):
        h=np.dot(X_norm,theta)
        #temp[j]=theta[j]-(alpha/m)*(  np.sum( (h-y)*X_norm[:,j][np.newaxis,:] )  )
        temp[0]=theta[0]-(alpha/m)*(np.sum(h-y))
        temp[1]=theta[1]-(alpha/m)*(np.sum((h-y)*X_norm[:,1]))
        theta=temp
    return theta

X_norm,mean,std=featureScale(X)
#length of X (number of rows)
m=len(X)
X_norm=np.array([np.ones(m),X_norm])
n,m=np.shape(X_norm)
num_it=1500
alpha=0.01
theta=np.zeros(n,float)[:,np.newaxis]
X_norm=X_norm.transpose()
theta=gradient(X_norm,y,theta,alpha,m,n,num_it)
print theta

我从上面的代码中得到的theta值是100.2 100.2，但在Matlab中正确的应该是100.2 61.09。

回答：

我认为你的代码有点过于复杂，需要更好的结构，否则你会在所有方程和操作中迷失方向。最终，这个回归问题可以归结为四个操作：

1. 计算假设 h = X * theta
2. 计算损失 loss = h – y，并可能计算平方成本 (loss^2)/2m
3. 计算梯度 gradient = X’ * loss / m
4. 更新参数 theta = theta – alpha * gradient

在你的例子中，我猜你把m和n搞混了。这里的m表示训练集中的样本数量，而不是特征的数量。

让我们看看我对你的代码的修改版本：

import numpy as np
import random
# 这里的m表示样本数量，而不是特征数量
def gradientDescent(x, y, theta, alpha, m, numIterations):
    xTrans = x.transpose()
    for i in range(0, numIterations):
        hypothesis = np.dot(x, theta)
        loss = hypothesis - y
        # 每个样本的平均成本（这里的2在2*m中并不重要。
        # 但为了与梯度一致，我包含了它）
        cost = np.sum(loss ** 2) / (2 * m)
        print("Iteration %d | Cost: %f" % (i, cost))
        # 每个样本的平均梯度
        gradient = np.dot(xTrans, loss) / m
        # 更新
        theta = theta - alpha * gradient
    return theta

def genData(numPoints, bias, variance):
    x = np.zeros(shape=(numPoints, 2))
    y = np.zeros(shape=numPoints)
    # 基本是一条直线
    for i in range(0, numPoints):
        # 偏置特征
        x[i][0] = 1
        x[i][1] = i
        # 我们的目标变量
        y[i] = (i + bias) + random.uniform(0, 1) * variance
    return x, y

# 生成100个点，偏置为25，10的方差作为一些噪声
x, y = genData(100, 25, 10)
m, n = np.shape(x)
numIterations= 100000
alpha = 0.0005
theta = np.ones(n)
theta = gradientDescent(x, y, theta, alpha, m, numIterations)
print(theta)

首先，我创建了一个小的随机数据集，应该看起来像这样：

如你所见，我还添加了由Excel计算的回归线和公式。

你需要注意使用梯度下降进行回归的直觉。当你对数据X进行完整的批处理时，你需要将每个样本的m个损失减少到单个权重更新。在这种情况下，这是梯度总和的平均值，因此除以m。

接下来你需要注意的是跟踪收敛情况并调整学习率。为此，你应该始终跟踪每次迭代的成本，甚至可以绘制它。

如果你运行我的示例，返回的theta将如下所示：

Iteration 99997 | Cost: 47883.706462
Iteration 99998 | Cost: 47883.706462
Iteration 99999 | Cost: 47883.706462
[ 29.25567368   1.01108458]

这实际上与Excel计算的方程（y = x + 30）非常接近。请注意，因为我们将偏置传递到第一列，第一个theta值表示偏置权重。