我是机器学习的初学者，我一直在努力更详细地理解这个过程。
对于任何机器学习场景：
(1) 第一步，我会按照90%到10%的比例分割我的数据，并将10%的数据保留到最后一步进行测试
代码：
X1, X_Val, y1, y_Val = train_test_split(X, y, test_size=0.1, random_state=101)(2) 第二步，如果我的数据允许（不是太大），我会在数据上运行K折交叉验证。
从这个分数中，我可以得到我所选择模型的偏差、方差和准确率。
从这里，我可以调整模型，例如调整超参数，进行特征选择，并尝试不同的算法（如随机森林等）以查看什么能提供最佳解决方案
代码：
from sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import cross_val_scorelogreg = LogisticRegression()scores = cross_val_score(logreg,X1,y1,cv = 10, scoring = "accuracy")scores.mean()scores.std()(3) 现在我使用cross_val_predict来获取y预测值（y_pred）
代码：
from sklearn.model_selection import cross_val_predictypred = cross_val_predict(logreg,X1,y1,cv = 10)(4) 从这里，我可以运行分类报告：
代码：
print(classification_report(y1,ypred))accuracy_score(y1,ypred)confusion_matrix(y1,ypred)(5) 现在，如果我们对分类报告的结果感到满意，我们可以输入新的数据或未见过的数据(X_val,y_val)，在我们的例子中，就是我们在第1步中移除的测试集
这样做：
代码：
logreg2 = LogisticRegression()logreg2.fit(X1,y1)y_pred2 = logreg2.predict(X_Val)然后我们可以针对(y_Val,y_pred2)运行另一个分类报告
我有两个问题：
(1) 这些步骤正确吗？请随时告诉我是否遗漏了什么。
(2) 我应该报告我的模型的实际准确率，是第5步的分类报告还是第4步的？
非常感谢您的帮助
回答：
您的程序总体上是正确的。讨论使用验证集、训练集和测试集的顺序将很有用。一些小问题/澄清：
-
在第1步中，我们通常使用“测试集”这个术语而不是“验证集”（这里的验证部分由K折CV覆盖），因此
x_test和y_test将是更合适的变量名称。 -
在第5步中，预期您将使用在交叉验证期间选择的特定超参数（您的示例并未明确显示这一点）。
由于您已经使用测试集对模型进行了最终评估，因此在这里报告第5步的结果确实是正确的；不过，只要您提供了适当的澄清，您也可以报告第4步的结果，例如“CV准确率x，测试准确率y”。
