我有一个非常大的数据集，包含约314554097行和3列。第三列是类别。数据集有两个类别，0和1。我需要将数据分割成测试和训练数据。为了分割数据，我可以使用

from sklearn.cross_validation import train_test_split . X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.75, random_state = 0)  

但是，数据集中大约99%是类别0，只有1%是类别1。在训练数据集中，我需要类别0和类别1的数量相等，例如每个类别30000行。我该如何做呢？

回答：

您可能在寻找处理不平衡数据的解决方案。这里有一些您可以遵循的方法。

1. 重采样：（对少数类数据点进行过采样或对多数类数据点进行欠采样）
   

   在您的案例中，类别1是少数类

2. 根据类别不平衡的比例，给少数类更多的权重
3. 选择合适的性能指标。

但是，如果您仍然需要3万个类别1和类别0的数据点，可以尝试以下方法：

X_train_sample_class_1 = X_train[X_train['third_column_name'] == 1][:30000]X_train_sample_class_0 = X_train[X_train['third_column_name'] == 0][:30000]

现在您可以将X_train_sample_class_1和X_train_sample_class_0合并，形成一个新的平衡数据集