自动选择最佳模型的函数,用于比较机器学习模型性能

我正在尝试让这个函数选择验证准确率较高的模型作为最终模型,在训练集和验证集上重新训练选定的最终模型,然后计算测试集上的预测结果以及测试集预测的准确率。我认为我已经具备了比较模型所需的一切,但我想不出最合适的方式来选择最佳模型并按照上述方式继续进行全部在函数内部完成。

def compare_models(X,y,model1,model2,test_size,val_size,random_state=0):    # 首先将数据分割成训练集和测试集,使用15%的数据作为测试集
    X_train_full,X_test,y_train_full,y_test = train_test_split(X, y, random_state=0,test_size=0.15)    # 现在再次分割训练集成训练集和验证集,使用训练数据的15%作为验证集
    X_train,X_val,y_train,y_val = train_test_split(X_train_full,y_train_full,random_state=0,test_size=0.15)    # 使用验证集比较两个模型的性能
    model1.fit(X_train,y_train)    val_preds_model1 = model1.predict(X_val)    model2.fit(X_train,y_train)    val_preds_model2 = model2.predict(X_val)    # 计算每个模型的验证准确率
    acc_val_model1 = sum(val_preds_model1==y_val)/len(y_val)    acc_val_model2 = sum(val_preds_model2==y_val)/len(y_val)        # 在训练集和验证集上训练我们选定的模型
    XXX.fit(X_train_full,y_train_full)    # 在测试集上评估其性能
    preds_test = XXX.predict(X_test)    acc_test = sum(preds_test==y_test)/len(y_test)    return acc_test

回答:

对模型再次调用fit重新拟合模型,所以像这样的代码应该可以实现:

XXX = model1 if if acc_val_model1 > acc_val_model2 else model2

但也许应该将其称为best_model或其他名字,而不是XXX 😛

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注