问题陈述:我正在处理一个对应于病态反问题的线性方程组。我可以在 Python 中手动应用 Tikhonov 正则化或岭回归,并在测试数据上获得足够准确的解决方案。我想尝试使用 sklearn.linear_model.Ridge 来解决这个问题,因为我想尝试使用该包中线性模型部分的其他机器学习方法(https://scikit-learn.org/stable/modules/linear_model.html)。我想知道在这种情况下使用 sklearn 是否是使用了错误的工具。
我所做的:我阅读了 sklearn.linear_model.Ridge 的文档。由于我知道对应于正向问题的线性变换,我已经在脉冲响应上运行它以创建训练数据,然后将其提供给 sklearn.linear_model.Ridge 以生成模型。与我在 Python 中自己应用岭回归方程时不同,来自 sklearn.linear_model.Ridge 的模型只能在脉冲响应上工作。另一方面,使用方程自己应用岭回归,会生成一个可以应用于脉冲响应的任何线性组合的模型。
有没有办法应用 sklearn 的线性方法,而不需要生成一个代表问题整个参数空间的大型测试数据集,或者这是使用(即使是线性)机器学习算法的必要条件吗?
当 sklearn 方法应用于涵盖正向问题的测试案例时,sklearn.model.Ridge 的结果应该与解决岭回归方程的结果相同吗?
非常感谢任何能帮助我理解的人。
回答:
通过反复试验找到了答案。为了帮助那些像我一样思考并需要澄清的人,我在这里回答自己的问题。
-
是的,如果你使用覆盖问题空间的训练数据,它与在 Python 中使用方程运行岭回归是相同的。sklearn 确实按照文档中所述的那样工作。
-
你需要使用 fit_intercept=True 让 sklearn.linear_model.Ridge 拟合你问题的 Y 截距,否则它会被假定为零。
如果你使用默认值 fit_intercept=False,并且你的问题并不具有零的 Y 截距,你当然会得到一个糟糕的解决方案。
这可能会让像我这样的新手误以为你没有提供足够的训练数据,这是错误的印象。