我试图使用机器学习来建模一个加法运算。但模型总是预测相同的结果。以下是我的代码:
在10000次预测中,没有一个预测的Y值是两个随机变量X的加和,哪里出了问题?
回答:
首先,正如评论中指出的,这是一个回归问题,而不是分类问题,而GaussianNB
是一个分类器。其次,你的代码有错误,你在同一个测试集上进行预测,因为你没有重新生成用于预测的随机值。
以下是解决这个问题的可能方法。首先,你试图建模特征与目标变量之间的线性关系,因此你希望你的模型学习如何用线性函数映射f(X)->y
,在这种情况下是一个简单的加法。因此你需要一个线性模型。
因此,我们可以使用LinearRegression
。你可以这样训练回归器:
from sklearn.linear_model import LinearRegressionX = np.random.randint(0,1000, (20000, 2))y = X.sum(1)lr = LinearRegression()lr.fit(X,y)
然后同样生成一个包含未见过的组合的测试集,希望回归器能够准确预测:
X_test = X = np.random.randint(0,1000, (2000, 2))y_test = X.sum(1)
如果我们用训练好的模型进行预测,并将预测值与原始值进行比较,我们会发现模型确实如我们期望的那样完美地映射了加法函数:
y_pred = lr.predict(X_test)pd.DataFrame(np.vstack([y_test, y_pred]).T, columns=['Test', 'Pred']).head(10) Test Pred0 1110.0 1110.01 557.0 557.02 92.0 92.03 1210.0 1210.04 1176.0 1176.05 1542.0 1542.0
通过检查模型的coef_
,我们可以看到模型已经学习了以下最优系数:
lr.coef_# array([1., 1.])
以及:
lr.intercept_# 4.547473508864641e-13 -> 0
这基本上将线性回归转换成了加法,例如:
X_test[0]# array([127, 846])
所以我们会有y_pred = 0 + 1*127 + 1*846