def gradient(X_norm,y,theta,alpha,m,n,num_it):
temp=np.array(np.zeros_like(theta,float))
for i in range(0,num_it):
h=np.dot(X_norm,theta)
#temp[j]=theta[j]-(alpha/m)*( np.sum( (h-y)*X_norm[:,j][np.newaxis,:] ) )
temp[0]=theta[0]-(alpha/m)*(np.sum(h-y))
temp[1]=theta[1]-(alpha/m)*(np.sum((h-y)*X_norm[:,1]))
theta=temp
return theta
X_norm,mean,std=featureScale(X)
#length of X (number of rows)
m=len(X)
X_norm=np.array([np.ones(m),X_norm])
n,m=np.shape(X_norm)
num_it=1500
alpha=0.01
theta=np.zeros(n,float)[:,np.newaxis]
X_norm=X_norm.transpose()
theta=gradient(X_norm,y,theta,alpha,m,n,num_it)
print theta我从上面的代码中得到的theta值是100.2 100.2，但在Matlab中正确的应该是100.2 61.09。
回答：
我认为你的代码有点过于复杂，需要更好的结构，否则你会在所有方程和操作中迷失方向。最终，这个回归问题可以归结为四个操作：
- 计算假设 h = X * theta
- 计算损失 loss = h – y，并可能计算平方成本 (loss^2)/2m
- 计算梯度 gradient = X’ * loss / m
- 更新参数 theta = theta – alpha * gradient
在你的例子中，我猜你把m和n搞混了。这里的m表示训练集中的样本数量，而不是特征的数量。
让我们看看我对你的代码的修改版本：
import numpy as np
import random
# 这里的m表示样本数量，而不是特征数量
def gradientDescent(x, y, theta, alpha, m, numIterations):
xTrans = x.transpose()
for i in range(0, numIterations):
hypothesis = np.dot(x, theta)
loss = hypothesis - y
# 每个样本的平均成本（这里的2在2*m中并不重要。
# 但为了与梯度一致，我包含了它）
cost = np.sum(loss ** 2) / (2 * m)
print("Iteration %d | Cost: %f" % (i, cost))
# 每个样本的平均梯度
gradient = np.dot(xTrans, loss) / m
# 更新
theta = theta - alpha * gradient
return theta
def genData(numPoints, bias, variance):
x = np.zeros(shape=(numPoints, 2))
y = np.zeros(shape=numPoints)
# 基本是一条直线
for i in range(0, numPoints):
# 偏置特征
x[i][0] = 1
x[i][1] = i
# 我们的目标变量
y[i] = (i + bias) + random.uniform(0, 1) * variance
return x, y
# 生成100个点，偏置为25，10的方差作为一些噪声
x, y = genData(100, 25, 10)
m, n = np.shape(x)
numIterations= 100000
alpha = 0.0005
theta = np.ones(n)
theta = gradientDescent(x, y, theta, alpha, m, numIterations)
print(theta)首先，我创建了一个小的随机数据集，应该看起来像这样：
如你所见，我还添加了由Excel计算的回归线和公式。
你需要注意使用梯度下降进行回归的直觉。当你对数据X进行完整的批处理时，你需要将每个样本的m个损失减少到单个权重更新。在这种情况下，这是梯度总和的平均值，因此除以m。
接下来你需要注意的是跟踪收敛情况并调整学习率。为此，你应该始终跟踪每次迭代的成本，甚至可以绘制它。
如果你运行我的示例，返回的theta将如下所示：
Iteration 99997 | Cost: 47883.706462
Iteration 99998 | Cost: 47883.706462
Iteration 99999 | Cost: 47883.706462
[ 29.25567368 1.01108458]这实际上与Excel计算的方程（y = x + 30）非常接近。请注意，因为我们将偏置传递到第一列，第一个theta值表示偏置权重。
