我想知道当我进行训练测试拆分（20%作为测试集，80%作为训练集）后，再应用5折交叉验证时，是否意味着所有数据都至少被用作测试集一次？还是每次都是随机选择的，以至于在每一折中，某些数据可能被多次用作测试集，而有些数据可能从未被用作测试集？

#20% of the data will be used as test setX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=seed) cv_results= cross_val_score(model, X_train, y_train, cv=kfold, scoring=scoring)

回答：

所有数据都会被用作测试集一次吗？是的，至少在你传递给交叉验证方法的数据中是这样。例如：

X = np.arange(10)y = np.concatenate((np.ones(5), np.zeros(5)))Xarray([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])yarray([1., 1., 1., 1., 1., 0., 0., 0., 0., 0.])X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, random_state=42)X_trainarray([5, 0, 7, 2, 9, 4, 3, 6])X_testarray([8, 1])kf = Kfold(n_splits=5)for train, test in kf.split(X_train):    print(train, test)[2 3 4 5 6 7] [0 1][0 1 4 5 6 7] [2 3][0 1 2 3 6 7] [4 5][0 1 2 3 4 5 7] [6][0 1 2 3 4 5 6] [7]

如你所见，测试集的索引从0到7，这意味着X_train中的所有8个值都将在交叉验证测试中出现一次。无论你的样本大小如何，这种模式都会持续存在。

交叉验证中由split方法创建的拆分大小取决于你的数据与你选择的拆分数量的比例。例如，如果我设置了KFold(n_splits=8)（与我的X_train数组大小相同），那么每个拆分的测试集将只包含一个数据点。