我目前正在使用GridSearchCV来寻找最佳的超参数以获得最高的F1分数。
from sklearn.metrics import f1_score, make_scorerf1 = make_scorer(f1_score, average='micro')grid = {'n_neighbors':np.arange(1,16), 'p':np.arange(1,3), 'weights':['uniform','distance'], 'algorithm':['auto'] }knn = KNeighborsClassifier()knn_cv = GridSearchCV(knn,grid,cv=3, verbose = 3, scoring= f1)knn_cv.fit(X_train_res,y_train_res)print("Hyperparameters:",knn_cv.best_params_)print("Train Score:",knn_cv.best_score_)result_train["GridSearch-Best-Train"] = knn_cv.best_score_
虽然我注意到在使用F1作为评分标准后,最佳超参数和最佳准确率保持不变,我使用的方式是否有误?
回答:
这并不令人惊讶,特别是如果你的类别分布不是太不平衡的话。我初步看不出你的代码有什么问题。
为了提供一些支持证据,证明一切按预期运行,你可以查看knn_cv.cv_results_
的两个评分器的结果(如果将该字典转换为pandas
数据框会更容易检查)。实际上,你可以指定多个评分器,这样cv_results_
属性将在同一个字典/框架中显示两个分数。你可能还想加入一个更连续的评分标准,比如对数损失。