使用 sklearn.linear_model.Ridge 解决线性病态问题 – 描述训练数据的最佳方式?

问题陈述:我正在处理一个对应于病态反问题的线性方程组。我可以在 Python 中手动应用 Tikhonov 正则化或岭回归,并在测试数据上获得足够准确的解决方案。我想尝试使用 sklearn.linear_model.Ridge 来解决这个问题,因为我想尝试使用该包中线性模型部分的其他机器学习方法(https://scikit-learn.org/stable/modules/linear_model.html)。我想知道在这种情况下使用 sklearn 是否是使用了错误的工具。

我所做的:我阅读了 sklearn.linear_model.Ridge 的文档。由于我知道对应于正向问题的线性变换,我已经在脉冲响应上运行它以创建训练数据,然后将其提供给 sklearn.linear_model.Ridge 以生成模型。与我在 Python 中自己应用岭回归方程时不同,来自 sklearn.linear_model.Ridge 的模型只能在脉冲响应上工作。另一方面,使用方程自己应用岭回归,会生成一个可以应用于脉冲响应的任何线性组合的模型。

有没有办法应用 sklearn 的线性方法,而不需要生成一个代表问题整个参数空间的大型测试数据集,或者这是使用(即使是线性)机器学习算法的必要条件吗?

当 sklearn 方法应用于涵盖正向问题的测试案例时,sklearn.model.Ridge 的结果应该与解决岭回归方程的结果相同吗?

非常感谢任何能帮助我理解的人。


回答:

通过反复试验找到了答案。为了帮助那些像我一样思考并需要澄清的人,我在这里回答自己的问题。

  1. 是的,如果你使用覆盖问题空间的训练数据,它与在 Python 中使用方程运行岭回归是相同的。sklearn 确实按照文档中所述的那样工作。

  2. 你需要使用 fit_intercept=True 让 sklearn.linear_model.Ridge 拟合你问题的 Y 截距,否则它会被假定为零。

如果你使用默认值 fit_intercept=False,并且你的问题并不具有零的 Y 截距,你当然会得到一个糟糕的解决方案。

这可能会让像我这样的新手误以为你没有提供足够的训练数据,这是错误的印象。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注