我有一个二元分类问题

首先，我对数据进行训练测试分割，如下所示：

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

我检查了y_train，它基本上是两个类别（1,0）的50/50分割，这与数据集的情况一致

当我尝试使用基础模型时，例如：

model = RandomForestClassifier()model.fit(X_train, y_train)model.score(X_train, y_train)

输出是0.98，或者根据训练测试分割的随机状态，可能会有1%的差异。

然而，当我尝试使用cross_val_score时，例如：

cross_val_score(model, X_train, y_train, cv=StratifiedKFold(shuffle=True), scoring='accuracy')

输出是

array([0.65      , 0.78333333, 0.78333333, 0.66666667, 0.76666667])

数组中的任何得分都与0.98相差甚远？

当我尝试使用scoring = ‘r2’时，我得到了

>>>cross_val_score(model, X_train, y_train, cv=StratifiedKFold(shuffle=True), scoring='r2')array([-0.20133482, -0.00111235, -0.2       , -0.2       , -0.13333333])

有谁知道为什么会这样？我尝试过Shuffle = True和False，但都没有帮助。

提前感谢

回答：

在您的基础模型中，您在训练语料库上计算得分。虽然这是一种确保模型确实从您提供的数据中学习的正确方法，但它并不能保证模型在新的、未见过的数据上的最终准确性。

虽然我对scikit-learn的了解不是很深入，但我预计cross_val_score实际上会将X_train和y_train分割成训练集和测试集。

因此，当您在训练过程中未见过的数据上计算得分时，准确率会低很多。尝试将这些结果与model.score(X_test, y_test)进行比较，应该会更接近。