我在机器学习领域是新手，正在尝试通过梯度下降方法对函数f(x)=kx进行线性回归。并且

d(f(x)-y)^2 / dk =2(f(x)-y) * d(kx-y) / dk=2x(f(x)-y)=2x(kx-y)

因此，通过梯度下降法更新k的值为k = k - rate * 2x(kx-y)。

这正是教科书上所说的方法，所以我以为这会有效果 🙁

from random import uniformk,k0=uniform(-100,100),uniform(-100,100)for _ in range(10):    x=uniform(-100,100)    k=k-0.01*x*(k*x-k0*x)    print k,k0

遗憾的是，输出结果是：

-2639.75970458 -72.29427533556444.9277867 -72.294275335-350533.559366 -72.294275335-315222.824967 -72.29427533526481249.7869 -72.29427533525795070.4808 -72.294275335-329558179.012 -72.29427533522212688252.9 -72.294275335-2.2317104093e+11 -72.2942753351.61788553661e+12 -72.294275335

k 以令人不安的速度偏离 k0 🙁

我已经阅读了维基百科、谷歌以及此页面右侧推荐的问题，但仍然没有头绪 🙁 非常感谢

回答：

将你的“学习率”（例如0.01）设得更小一些，并增加迭代次数N：

from random import uniformlearning_rate = 0.0001N = 100k, k0 = uniform(-100, 100), uniform(-100, 100)for _ in range(N):    x = uniform(-100, 100)    k = k - learning_rate * x * (k * x - k0 * x)    print k, k0