我需要使用最小二乘法和留一法交叉验证来估算回归的均方误差：回归函数
对于p从1到30的取值范围，我需要找出最佳的p值，以实现最佳回归，并定义构建回归函数的最佳p值。
问题是我完全不知道如何去做这件事。我理解背后的所有数学原理，我可以手动计算，我也会使用Python，但我似乎遇到了心理障碍。Scikit Learn有相关的工具帮助吗？我知道他们有Lasso和Ridge用于特征选择，但这就像手动进行特征选择，而我需要的是能够计算每个p值下函数的权重，并计算其最小二乘误差。问题是我的数据只有一个特征x，并且我需要应用于多个p值。谢谢！
回答：
我发现这个问题足以编写这个示例代码，它在我的测试数据上使用了你的方程 – 你需要用你自己的数据替换测试数据。这个代码至少可以帮助你开始。这个示例使用scipy.optimize.differential_evolution模块来自动生成非线性求解器的初始参数估计，并使用matplotlib绘制结果。
import numpy, scipy, matplotlibimport matplotlib.pyplot as pltfrom scipy.optimize import curve_fitfrom scipy.optimize import differential_evolutionimport warningsxData = numpy.array([19.1647, 18.0189, 16.9550, 15.7683, 14.7044, 13.6269, 12.6040, 11.4309, 10.2987, 9.23465, 8.18440, 7.89789, 7.62498, 7.36571, 7.01106, 6.71094, 6.46548, 6.27436, 6.16543, 6.05569, 5.91904, 5.78247, 5.53661, 4.85425, 4.29468, 3.74888, 3.16206, 2.58882, 1.93371, 1.52426, 1.14211, 0.719035, 0.377708, 0.0226971, -0.223181, -0.537231, -0.878491, -1.27484, -1.45266, -1.57583, -1.61717])yData = numpy.array([0.644557, 0.641059, 0.637555, 0.634059, 0.634135, 0.631825, 0.631899, 0.627209, 0.622516, 0.617818, 0.616103, 0.613736, 0.610175, 0.606613, 0.605445, 0.603676, 0.604887, 0.600127, 0.604909, 0.588207, 0.581056, 0.576292, 0.566761, 0.555472, 0.545367, 0.538842, 0.529336, 0.518635, 0.506747, 0.499018, 0.491885, 0.491885, 0.484754, 0.475230, 0.464514, 0.454387, 0.444861, 0.437128, 0.415076, 0.401363, 0.390034, 0.378698])def func(x, B0, B1, B2, B3, B4, B2p1, B2p, p): returnVal = B0 # 以B0开始，并加上其他项 returnVal += B1 * numpy.sin(2.0 * numpy.pi * x) returnVal += B2 * numpy.cos(2.0 * numpy.pi * x) returnVal += B3 * numpy.sin(2.0 * numpy.pi * 2.0 * x) returnVal += B4 * numpy.cos(2.0 * numpy.pi * 2.0 * x) returnVal += B2p1 * numpy.sin(2.0 * numpy.pi * p * x) returnVal += B2p * numpy.cos(2.0 * numpy.pi * p * x) return returnVal# 遗传算法最小化函数（平方误差和）def sumOfSquaredError(parameterTuple): warnings.filterwarnings("ignore") # 忽略遗传算法的警告 val = func(xData, *parameterTuple) return numpy.sum((yData - val) ** 2.0)def generate_Initial_Parameters(): parameterBounds = [] parameterBounds.append([-1.0, 1.0]) # B0的搜索范围 parameterBounds.append([-1.0, 1.0]) # B1的搜索范围 parameterBounds.append([-1.0, 1.0]) # B2的搜索范围 parameterBounds.append([-1.0, 1.0]) # B3的搜索范围 parameterBounds.append([-1.0, 1.0]) # B4的搜索范围 parameterBounds.append([-1.0, 1.0]) # B2p1的搜索范围 parameterBounds.append([-1.0, 1.0]) # B2p的搜索范围 parameterBounds.append([-1.0, 1.0]) # p的搜索范围 # 为了结果可重复性，设置numpy随机数生成器的种子 result = differential_evolution(sumOfSquaredError, parameterBounds, seed=3) return result.x# 生成初始参数值geneticParameters = generate_Initial_Parameters()# 用测试数据进行曲线拟合fittedParameters, pcov = curve_fit(func, xData, yData, geneticParameters)print('参数', fittedParameters)print()modelPredictions = func(xData, *fittedParameters) absError = modelPredictions - yDataSE = numpy.square(absError) # 平方误差MSE = numpy.mean(SE) # 均方误差RMSE = numpy.sqrt(MSE) # 均方根误差，RMSE Rsquared = 1.0 - (numpy.var(absError) / numpy.var(yData))print('RMSE:', RMSE)print('R-squared:', Rsquared)print()########################################################### 图形输出部分def ModelAndScatterPlot(graphWidth, graphHeight): f = plt.figure(figsize=(graphWidth/100.0, graphHeight/100.0), dpi=100) axes = f.add_subplot(111) # 首先是原始数据的散点图 axes.plot(xData, yData, 'D') # 创建用于拟合方程的绘图数据 xModel = numpy.linspace(min(xData), max(xData)) yModel = func(xModel, *fittedParameters) # 现在是模型的线图 axes.plot(xModel, yModel) axes.set_xlabel('X 数据') # X轴数据标签 axes.set_ylabel('Y 数据') # Y轴数据标签 plt.show() plt.close('all') # 使用完pyplot后清理graphWidth = 800graphHeight = 600ModelAndScatterPlot(graphWidth, graphHeight)
