我正在使用MNIST Sign Language数据集，通过Keras对图像进行分类。数据集中有24个不同的类别。但是问题在于各类别的分布差异很大。

我使用了sklearn.model_selection.train_test_split，并设置了stratify=df['label']，但仍有一些类别占总数据的5%，而其他类别只占3%。如何使它们在各类别中选择大约4%分布的数据呢？

我的test_df包含7172行和785列，其中一列是label列，其余784列是灰度像素值(28*28)

test_df = pd.read_csv(TEST_PATH)# 打乱并分割验证和测试数据test_df = test_df.sample(frac=1.0,random_state=SEED).iloc[:2000,:] # 打乱整个数据，取前2000行val_df,test_df = train_test_split(test_df,test_size=0.5,random_state=SEED,stratify=test_df['label'])# 按标签分层，使各类别的分布大致相同# 提取验证和测试数据的像素和标签X_val = val_df.drop('label',axis=1).values.reshape((val_df.shape[0],28,28))/255.0 # 验证图像y_val = val_df['label'].ravel() # 验证标签X_test = test_df.drop('label',axis=1).values.reshape((test_df.shape[0],28,28))/255.0 # 测试图像y_val = test_df['label'].ravel() # 测试标签

回答：

这行代码可以让你在验证和测试数据中获得均匀的分布。你也可以调整样本数量来尝试不同的效果

SEED = 42n_classes = 24test_df = pd.read_csv(TEST_PATH)test_df = [test_df.loc[test_df.label==i].sample(n=int(2000/n_classes),random_state=SEED) for i in test_df.label.unique()]test_df = pd.concat(test_df, axis=0, ignore_index=True)val_df,test_df = train_test_split(test_df,test_size=0.5,random_state=SEED,stratify=test_df['label'])