我有一个之前已经分成训练和验证（测试）数据的数据集。我需要进一步将训练数据分成独立的训练数据和校准集，我不想碰我的当前验证（测试）集。我无法访问原始数据集。

我希望随机进行这个操作，这样每次运行我的脚本时，我都可以得到不同的训练和校准集。我知道有.sample()函数，但我的训练数据集有44000行。

原始数据集

training = dataset.loc[dataset['split']== 'train']print("Training Created")#print(training.head())validation = dataset.loc[dataset['split']== 'valid']print("Validation Created")#print(validation.head())

我需要的是类似这样的东西：

# 正确的训练集x_train = breast_cancer.values[:-100, :-1]y_train = breast_cancer.values[:-100, -1]# 校准集x_cal = breast_cancer.values[-100:-1, :-1]y_cal = breast_cancer.values[-100:-1, -1]# (x_k+1, y_k+1)x_test = breast_cancer.values[-1, :-1]y_test = breast_cancer.values[-1, -1]

不确定如何处理第二次分割

数据集示例

Object  | Variable | SplitCancer1     55     TrainCancer5     45     TrainCancer2     56     ValidCancer3     68     ValidCancer4     75     Valid

回答：

看起来你已经有一个列分配了train和validation集。通常的方法是使用sklearn.model_selection.train_test_split。所以要进一步将你的训练数据分成训练和“校准”集，只需在训练集上使用它（请注意，你需要将数据分成X和y）：

# 初始分割成训练/测试train = df.loc[df['Split']== 'train']test = df.loc[df['Split']== 'valid']# 将测试集分割成特征和目标x_test = test.loc[:,:-1]y_test = test.loc[:,-1]# 对训练集做同样处理X_train = train.loc[:,:-1]y_train = train.loc[:,-1]# 分割成训练和验证集X_train, X_calib, y_train, y_calib = train_test_split(X_train, y_train)