我正在尝试让这个函数选择验证准确率较高的模型作为最终模型,在训练集和验证集上重新训练选定的最终模型,然后计算测试集上的预测结果以及测试集预测的准确率。我认为我已经具备了比较模型所需的一切,但我想不出最合适的方式来选择最佳模型并按照上述方式继续进行全部在函数内部完成。
def compare_models(X,y,model1,model2,test_size,val_size,random_state=0): # 首先将数据分割成训练集和测试集,使用15%的数据作为测试集
X_train_full,X_test,y_train_full,y_test = train_test_split(X, y, random_state=0,test_size=0.15) # 现在再次分割训练集成训练集和验证集,使用训练数据的15%作为验证集
X_train,X_val,y_train,y_val = train_test_split(X_train_full,y_train_full,random_state=0,test_size=0.15) # 使用验证集比较两个模型的性能
model1.fit(X_train,y_train) val_preds_model1 = model1.predict(X_val) model2.fit(X_train,y_train) val_preds_model2 = model2.predict(X_val) # 计算每个模型的验证准确率
acc_val_model1 = sum(val_preds_model1==y_val)/len(y_val) acc_val_model2 = sum(val_preds_model2==y_val)/len(y_val) # 在训练集和验证集上训练我们选定的模型
XXX.fit(X_train_full,y_train_full) # 在测试集上评估其性能
preds_test = XXX.predict(X_test) acc_test = sum(preds_test==y_test)/len(y_test) return acc_test
回答:
对模型再次调用fit
会重新拟合模型,所以像这样的代码应该可以实现:
XXX = model1 if if acc_val_model1 > acc_val_model2 else model2
但也许应该将其称为best_model
或其他名字,而不是XXX
😛